【python讲线代】S03E11 细致剖析最重要的矩阵:对称矩阵

0.本集概览

1.对称矩阵的基本特性
2.实对称矩阵一定能够对角化
3.实对称矩阵的标准正交特征向量
4.关于对称矩阵的特征值

这里,我们花一节的篇幅专门讨论一下对称矩阵,我们把对称矩阵称之为“最重要的”矩阵丝毫不夸张,因为他拥有许多非常重要和漂亮的性质。

1.对称矩阵基本特性回顾

首先,我们简单的回顾一下在之前的内容里介绍过的关于对称矩阵的基本特性:

如果一个矩阵 $S$ 的所有数据项都满足 $S_{ij}=S_{ji}$,那么这个矩阵就是一个对称矩阵。通俗的说,一个对称矩阵通过转置操作,得到的仍然是他自身,即满足:$S=S^T$。我们从这里面还可以推断出对阵矩阵 $S$ 所蕴含的一个前提条件:他必须是方阵。

我们还讲过,有一种获取对称矩阵的方法:即一个矩阵乘以自己的转置矩阵,得到的结果必然是一个对称矩阵,即 $AA^T$,证明方法也非常简单:

$(AA^T)^T=(A^T)^TA^T=AA^T$,满足关于矩阵对称的基本定义。

2.实对称矩阵的对角化

2.1.实对称矩阵一定可以对角化

我们在这里只讨论实数范围内的对称矩阵问题。

在上一章里我们讲过,对于一个任意方阵,如果他的特征值两两不同,那么特征值所对应的特征向量线性无关,这个方阵就可以对角化。如果方阵有相同的特征值,他很可能存在线性相关的特征向量,在这种情况下,该方阵就不能被对角化。

但是,这种情况在对称矩阵身上是不会发生的,请大家记住:对于任意一个实数对称矩阵,都一定可以被对角化。换句话说,对于一个对称矩阵,无论他的特征值是否重复,他的特征向量都一定线性无关。这里具体的证明过程我们不展开,大家有兴趣可以查阅相关的资料。

2.2.特征向量标准正交

实对称矩阵都可以获得一组标准正交的特征向量。这可以说是对称矩阵里我认为最好的一个性质了,这里我们用一个简单的方法来描述一下。

首先,实对称矩阵 $S$ 一定能够对角化,可以被写成:$S=X\Lambda X^{-1}$ 的形式,其中对角矩阵 $\Lambda$ 的各元素一定均由实数构成,并且最为关键的是,任何一个对称矩阵分解得到的特征向量矩阵都可以是标准正交矩阵。

为什么这么说呢,我们可以简单的看一个等式推导:

$S=X\Lambda X^{-1}$,由于 $S$ 的对称性,满足 $S=S^T$ ,于是有 $X\Lambda X^{-1}$$=(X\Lambda X^{-1})^T$$=(X^{-1})^T\Lambda X^T$。

想要使得等式相等,我们需要对应位置上的 $X^{-1}=X^T$,再进一步就整理成了 $X^TX=I$,这说明了,我们此时获取的特征向量之间是标准正交的,我们可以换记作正交矩阵的符号 $Q$,同时结合 $Q^{-1}=Q^T$ 的特性,我们就可以把实对称矩阵的对角化过程写作:$S=Q\Lambda Q^{-1}=Q \Lambda Q^T$。

2.3.对称矩阵的分解形式

分解成标准正交的特征向量只是其中的一种形式,由定义 $Sx=\lambda x$ 我们得知,显然特征向量是一个方向上的向量集合,不一定非得长度为 $1$,但是我们可以通过直觉感受到,一旦把特征向量都设置为单位向量,那么会收获很多简化和美好,这个我们在后面的几节里,会不断的感受到由此带来的好处。

此时,我们知道了对称矩阵一定可以得到由一组标准正交特征向量构成的特征矩阵,即矩阵 $Q$ 可以表示成:$\begin{bmatrix} q_1 & q_2 &...& q_n\end{bmatrix}$, 我们进一步将 $S=Q\Lambda Q^T$ 进行展开,$S=\begin{bmatrix} q_1 & q_2 &...& q_n\end{bmatrix}\begin{bmatrix} \lambda_1 &&&\\& \lambda_2 &&\\&&...&\\&&& \lambda_n\end{bmatrix}\begin{bmatrix} q_1^T \\ q_2^T \\...\\ q_n^T\end{bmatrix}$,这个式子是非常重要的,我们将其做最后的展开,你就会发现他的精彩之处:

$S=\lambda_1q_1q_1^T+\lambda_2q_2q_2^T+\lambda_3q_3q_3^T...+\lambda_nq_nq_n^T$,在这一组标准正交向量中,每一个 $q_iq_i^T$ 相乘得到的结果都是一个秩为 $1$,并且与矩阵 $S$ 等维的方阵,并且方阵与方阵之间相乘的结果为 $0$。

最终任意一个 $n$ 阶对称矩阵 $S$ ,都可以分解成 $n$ 个秩 $1$ 方阵乘以各自权重系数 $\lambda_i$,然后相加的结果。

3.$AA^T$ 与 $A^TA$ 的秩

在本教程前面的章节中,我们介绍过这样一个结论,对于任意一个 $m×n$ 的矩阵 $A$,他的列向量中线性无关向量的个数等于行向量中线性无关向量的个数。换句话说,也就是任意矩阵的行秩等于列秩:$r(A)=r(A^T)$。这个结论可以从线性方程组消元化简的角度去思考,就很容易明白了。

我们再看看矩阵 $A$ 和 $A^TA$ 的秩之间的关系:

我们从零空间的角度去入手理解,即如果方程 $Ax=0$ 和方程 $A^TAx=0$ 是同解方程,即他们拥有相同的零空间空间,由于 $A$ 和 $A^TA$ 的列的个数相等,都为 $n$,因此就可以推断出他们的列空间维数相同,均为: $n-N(A)$,也就是秩相等。

首先,如果 $Ax=0$,方程两边同时乘以 $A^T$,很明显: $A^TAx=0$ 同样成立,因此我们可以说,如果 $x$ 是 $Ax=0$ 的解,则推得出 $x$ 也一定是 $A^TAx=0$ 方程的解。

那么反过来,如果 $A^TAx=0$成立,我们将方程两边同时乘以 $x^T$,即 $x^TA^TAx=0$,稍微整理一下,有 $(Ax)^T(Ax)=0$,显然看出一定满足 $Ax=0$。此时我们可以说如果 $x$ 是 $A^TAx=0$ 的解,那么他一定也是 $Ax=0$ 的解。

于是这个问题我们就说清楚了: $Ax=0$ 和 $A^TAx=0$ 是同解的方程,两个矩阵拥有相同的零空间,因此我们就说明白了矩阵 $A$ 和 $A^TA$ 的秩相等。

top Created with Sketch.