特征值与特征向量（待续……）

从斐波那契出发

斐波那契数列的递推公式可以写成矩阵的形式：
${\left[\begin{array}{c}F_{k+2} \ F_{k+1}\end{array}\right]=\left[\begin{array}{ll}1 & 1 \ 1 & 0\end{array}\right] \left[\begin{array}{c}F_{k+1} \ F_{k}\end{array}\right]} $

根据矩阵乘法的结合律可以得到通项公式
\({\left[\begin{array}{c}F_{k+1} \\ F_{k}\end{array}\right]=\left(\left[\begin{array}{ll}1 & 1 \\1 & 0\end{array}\right]\right)^{k}\left[\begin{array}{l}F_{1} \\ F_{0}\end{array}\right]}\)

因此问题转化为求某个矩阵的\(k\)次幂。但这样的通项公式没有真的给出斐波那契数列通项的解析表达式。

我们知道我们可以通过待定系数把二阶线性递推配凑成一阶线性递推，在这里，我们有两种配凑方法，组合起来得到：\(\left[\begin{array}{c} F_{k+2}+\frac{-1+\sqrt{5}}{2} F_{k+1} \\ F_{k+2}+\frac{-1-\sqrt{5}}{2} F_{k+1} \end{array}\right]=\left[\begin{array}{cc} \frac{1+\sqrt{5}}{2} & 0 \\ 0 & \frac{1-\sqrt{5}}{2} \end{array}\right]\left[\begin{array}{l} F_{k+1}+\frac{-1+\sqrt{5}}{2} F_{k} \\ F_{k+1}+\frac{-1-\sqrt{5}}{2} F_{k} \end{array}\right]\)。由于是一阶线性递推，我们乘的矩阵恰好是一个对角矩阵。再把我们的配凑写成矩阵乘以原始的\(F_k\)的形式，得到\(\left[\begin{array}{cc} 1 & \frac{-1+\sqrt{5}}{2} \\ 1 & \frac{-1-\sqrt{5}}{2} \end{array}\right]\left[\begin{array}{c} F_{k+2} \\ F_{k+1} \end{array}\right]=\left[\begin{array}{cc} \frac{1+\sqrt{5}}{2} & 0 \\ 0 & \frac{1-\sqrt{5}}{2} \end{array}\right]\left[\begin{array}{cc} 1 & \frac{-1+\sqrt{5}}{2} \\ 1 & \frac{-1-\sqrt{5}}{2} \end{array}\right]\left[\begin{array}{c} F_{k+1} \\ F_{k} \end{array}\right]\)，最左侧的矩阵式可逆的，于是得到\(\left[\begin{array}{c} F_{k+2} \\ F_{k+1} \end{array}\right]=\left[\begin{array}{cc} 1 & \frac{-1+\sqrt{5}}{2} \\ 1 & \frac{-1-\sqrt{5}}{2} \end{array}\right]^{-1}\left[\begin{array}{cc} \frac{1+\sqrt{5}}{2} & 0 \\ 0 & \frac{1-\sqrt{5}}{2} \end{array}\right]\left[\begin{array}{cc} 1 & \frac{-1+\sqrt{5}}{2} \\ 1 & \frac{-1-\sqrt{5}}{2} \end{array}\right]\left[\begin{array}{c} F_{k+1} \\ F_{k} \end{array}\right]\)。我们惊奇地发现，如果把中间的三个矩阵做\(k\)次幂，逆矩阵会被消去。而我们又惊奇地意识到，计算对角矩阵的\(k\)次幂只需要把对角线的数本身做\(k\)次幂。这样，我们就最终得到\(\left[\begin{array}{c} F_{k+2} \\ F_{k+1} \end{array}\right]=\left[\begin{array}{cc} 1 & \frac{-1+\sqrt{5}}{2} \\ 1 & \frac{-1-\sqrt{5}}{2} \end{array}\right]^{-1}\left[\begin{array}{cc} \left(\frac{1+\sqrt{5}}{2}\right)^k & 0 \\ 0 & \left(\frac{1-\sqrt{5}}{2}\right)^k \end{array}\right]\left[\begin{array}{cc} 1 & \frac{-1+\sqrt{5}}{2} \\ 1 & \frac{-1-\sqrt{5}}{2} \end{array}\right]\left[\begin{array}{c} F_{2} \\ F_{1} \end{array}\right]\)，这样就可以求出斐波那契数列通项的解析式了！

特征值与特征向量

观察上述过程我们发现，关键是我们把某个矩阵\(A\)“写成了”\(X^{-1}\Lambda X\)的形式，其中\(\Lambda\)代表一个对角矩阵。这个过程称为矩阵\(A\)的对角化。

我们将会看到，对角化的过程本质上可以归结为求解\(Ax=\lambda x\)的问题：对于\(A=X^{-1}\Lambda X\)，两边同时右乘\(X^{-1}\)，得到\(AX^{-1}=X^{-1}\Lambda\)。设\(X^{-1} = \begin{bmatrix}x_1 & x_2 & \cdots & x_n\end{bmatrix}\)，根据分块矩阵的乘法，即要使得\(\begin{bmatrix}Ax_1 & Ax_2 & \cdots & Ax_n\end{bmatrix}=\begin{bmatrix}\lambda_1 x_1 & \lambda_2 x_2 & \cdots & \lambda_n x_n\end{bmatrix}\)。

所以，想要完成对角化，我们需要对于已知的矩阵\(A\)找到\(n\)个向量\(x_i\)使得存在对应的\(\lambda_i\)满足\(Ax_i=\lambda_i x_i\)。同时由于\(X^{-1}\)要存在，这\(n\)个\(x_i\)必须要是线性独立的。也就是我们要解方程\(Ax=\lambda x\)，对于满足这个方程的\(\lambda,x\)，我们把\(\lambda\)称为\(A\)的特征值，\(x\)称为\(A\)的特征向量。（为了保证线性独立，我们规定\(x\)不能取零向量）

从几何意义上理解\(Ax=\lambda x\)，其中\(A\)是\(\R^n\)上的一个线性映射，这个方程告诉我们特征向量被\(A\)映射之后是不改变方向的。

为了更深入理解，我们来看几个特殊的例子。\(A\)不可逆等价于\(A\)存在\(\lambda =0\)作为一个特征值，因为\(Ax=0\)存在非零解；如果\(A\)是对角矩阵，那么一定满足\(Ae_i=a_{ii}e_i\)，因此对角线上的每个元素都是\(A\)的特征值，对应的特征向量是\(e_i\)。如果\(A\)是投影矩阵\(P\)，那么映射之后不改变方向的只可能是子空间内的向量或者与子空间垂直的向量，相应的特征值分别只能是1与0。

解特征值

\(Ax=\lambda x\)等价于\((A-\lambda I)x=0\)。这是一个线性方程组，并且它有非零解。这意味着矩阵\(A-\lambda I\)的零空间有维数，这可以直接推出\(\det(A-\lambda I)=0\)。对于所有满足\(\det(A-\lambda I)=0\)的\(\lambda\)，必定意味着\(Ax=\lambda x\)有非零解，因此这样的\(\lambda,x\)就是我们要的特征值与特征向量。我们验证了，\(Ax=\lambda x\)与\(\det(A-\lambda I)=0\)是等价的。

我们意识到，已知\(A\)的前提下，找到满足\(\det(A-\lambda I)=0\)的所有\(\lambda\)本质上是在给一个\(n\)次方程求根。我们令\(f(\lambda)=\det(A-\lambda I)\)，这是一个“特征多项式”。我们只需要找到令这个多项式等于0的“特征根方程”的“特征根”。

根据代数学基本定理，特征根最多只有\(n\)个（包括重根），之前我们看到了对角矩阵的对角线上每个元素都是特征根，特征根方程形如\((\lambda-a_{11})\cdots(\lambda-a_{nn})=0\)，因此不可能存在其它特征根了。值得注意的是，特征根方程可能在实数域下无解，对于这样的矩阵\(A\)，我们就认为它是“不可对角化”的了。

对角化

我们的目标是要找到\(X\)和\(\Lambda\)使得\(A=X^{-1}\Lambda X\)或等价地\(\Lambda = XAX^{-1}\)。这在我们找到\(n\)个特征值之后是容易的，只需要分别解出\(Ax_i=\lambda x_i\)（或\((A-\lambda_i I)x_i=0\)）。

同时我们需要保证\(x_i\)是线性独立的。我们发现，如果特征根有重根，那么我们一定会得到两个相同的特征向量，因此就肯定没法做到对角化了。现在我们要说明，只要特征根两两不同，我们就一定可以对角化：

归纳地，\(\lambda_1\)对应\(x_1\)，它是线性独立的。如果已经成立\(c_1x_1+\cdots+c_{k}x_k=0\)当且仅当\(c_i=0\)恒成立，我们要证明\(c_1x_1+\cdots+c_{k}x_k+c_{k+1}x_{k+1}=0\)当且仅当\(c_i=0\)恒成立。若\(c_{k+1} =0\)，那么根据归纳假设必须满足\(c_1\)到\(c_k\)恒等于0。若\(c_{k+1} \neq 0\)，那么成立\(x_{k+1}=-\dfrac{1}{c_{k+1}}(c_1x_1+\cdots+c_kx_k)\)。等式两边同时左乘\(A\)得到\(Ax_{k+1}=-\dfrac{1}{c_{k+1}}(c_1Ax_1+\cdots+c_kAx_k)\)，用特征方程作替换得到\(\lambda_{k+1}x_{k+1}=-\dfrac{1}{c_{k+1}}(c_1\lambda_{1}x_1+\cdots+c_k\lambda_{k}x_k)\)。这时，我们想要把\(\lambda_{k+1}\)除过去，但它可能为零。我们这样处理：由于\(\lambda_i\)互不相同，如果有0我们就在最开始把它和\(\lambda_1\)调换，这就保证了\(\lambda_{k+1}\)始终不为0。于是有\(x_{k+1}=-\dfrac{1}{\lambda_{k+1}c_{k+1}}(c_1\lambda_{1}x_1+\cdots+c_k\lambda_{k}x_k)\)。根据基底表示的唯一性，得到\(-\dfrac{c_i\lambda_i}{\lambda_{k+1}c_{k+1}}=-\dfrac{c_i}{c_{k+1}}\)恒成立，也就得出了\(c_i(\lambda_i-\lambda_{k+1})=0\)恒成立，由于\(\lambda_i \neq \lambda_{k+1}\)，因此\(c_1\)到\(c_k\)全为0，而\(c_{k+1}\)和\(x_{k+1}\)都不为0，这就与条件矛盾。

于是我们验证了，只要\(\lambda_i\)两两不同，就有\(x_i\)线性独立，\(A\)是可对角化的。