[Linear Algebra] 矩阵运算

矩阵的加法与数乘

对于两个大小相同的矩阵，我们定义加法：由对应元素相加得到的一个新矩阵。对于一个矩阵，我们定义数乘：每个元素都乘上一个常数\(c\)得到的一个新矩阵。容易验证矩阵的加法和数乘满足下列运算性质：

1. \(A+B=B+A\) （加法交换律）
2. \(c(A+B)=cA+cB\)（数乘分配律）
3. \(A+(B+C)=(A+B)+C\)（加法结合律）

矩阵的乘法

对于一个\(m \times n\)的矩阵\(A\)和一个\(n \times p\)的矩阵\(B\)可以定义乘法：

\(AB(i,j)=\sum\limits_{k \in [n]}A(i,k)B(k,j)\)

矩阵乘法的运算性质，本质上都可以通过这个定义来证明的。对它们的理解没有任何困难，因为这只是代数运算的必然结果。总结起来，矩阵的运算满足：

1. \(A(B+C)=AB+AC\)（左乘矩阵的分配律）
2. \((A+B)C=AC+BC\)（右乘矩阵的分配律）
3. \(A(BC)=(AB)C\)（矩阵乘法的结合律）

特别需要强调的是，矩阵乘法不满足交换律，即\(AB\)不一定等于\(BA\)。甚至在矩阵大小上就可以否定这个命题，\(A_{mn}B_{np}\)可以相乘，而当\(m \neq p\)时\(B_{np}A_{mn}\)一定不能相乘。即便\(m=p\)，得到的结果也不一定相同。

一个特殊的矩阵\(I_{nn}\)称为单位矩阵，它在主对角线上全为1，其余全为0。可以证明\(A_{mn}I_{nn}=A_{mn},I_{mm}A_{mn}=A_{mn}\)。

“矩阵的乘法”代数上都可以回归到\(AB(i,j)=\sum\limits_{k \in [n]}A(i,k)B(k,j)\)​这个定义上，但对它的理解却可以是多种多样的。最初来看，让矩阵在相乘时呈现这样一种复杂的运算方式仅仅是一种“定义”，但当我们认识到这样的运算方式所能够含有的各种深刻意义之后，反过来就能够意识到这种定义的合理与必然了。同时，这种定义方式给了我们一种统一性，因此当我们在用其他方式理解矩阵乘法时，不妨时不时检查一下那种理解方式是否符合这种统一的定义，以便发现它背后的深刻含义。

向量是一维的矩阵。我们先来观察矩阵乘向量的情形，即\(A_{mn}x_{n1}=b_{m1}\)。根据定义的矩阵乘法的运算方式，我们实际上得到了一个\(n\)元线性方程组。而矩阵\(A\)中的数字其实表示着这个方程组的各项系数。在这个意义上，矩阵是对线性方程组的一种简化表达方式。从代数的角度来看这个问题，我们可以用高斯消元的方法求出各个变量可能的取值；从几何的角度，我们可以看作若干个几何图形在空间中相交——二元的方程组表示直线在平面内的交点，三元的方程组表示平面在三维空间中的交点。

我们还可以用另一种方式来理解它。根据定义的运算方式，对于\(Ax=b\)，我们发现，如果把\(b\)看作\(A\)的列向量的线性组合，那么每一列对应的系数就恰好可以对应\(x\)的各个坐标。于是，这里的“乘法”就可以被理解为是“用\(x\)的方式对\(A\)的列向量做线性组合得到的结果”。我们可以从向量空间的角度理解：如果\(b\)落在\(A\)的列空间中，那么\(A\)的列向量存在至少一种线性组合来表示\(b\)，方程组有解；如果\(b\)不在\(A\)的列空间中，则无解。

上面两种理解方式都涉及“空间”或者“几何”。有意思的是，当我们用“平面相交”的方式来理解时，我们是以\(A\)的行为单位来看的；当我们用“向量张成的空间”来理解时，我们时以\(A\)的列为单位来看的。

再来考虑多维，一个矩阵\(B\)可以被拆成一系列列向量，也就是\(B=\begin{bmatrix} b_1 & b_2 & \cdots & b_p \end{bmatrix}\)。而矩阵与矩阵的乘法，根据定义可以发现，实际上就是把矩阵与向量的乘法拼凑起来：\(AB=\begin{bmatrix} Ab_1 & Ab_2 & \cdots & Ab_p \end{bmatrix}\)。

矩阵的转置

矩阵\(A\)的转置就是一个把行列颠倒过来的矩阵，记作\(A^T\)。严格来说，即\(A(i,j)=A^T(j,i)\)。\(m \times n\)的矩阵的转置是一个\(n \times m\)的矩阵。

可以验证如下性质：

1. \((A+B)^T=A^T+B^T\)
2. \((AB)^T=B^TA^T\)
3. \((A^{-1})^T=(A^T)^{-1}\)

分块矩阵

可以证明，把子矩阵当成数字来运算是没有问题的。