课件

线性空间

• 定义：交换律+结合律+零元素+负元素

• 特殊的矩阵：

  • 对称矩阵：\(A=A^T\)
  • 正交矩阵：\(AA^T=I\)
  • Hermite矩阵：\(A^H=A\)，对角元素为实数，特征值为实数
  • 反(斜)Hermite矩阵：\(A^H=-A\)，对角元素为纯虚数，特征值为纯虚数或者0
  • 酉矩阵：\(A^HA=I\)，酉相似 \(U^H A U = B\)，酉相抵 \(U A V = B\)
  • 奇异矩阵：\(|A|=0\) 没有逆矩阵
  • 正定矩阵：\(x^T A x > 0\) 对非零向量x恒成立
  • 正规矩阵：\(A^HA=AA^H\)，(反)实对阵阵、(反)Hermite阵、正交矩阵、酉矩阵都是正规矩阵，正规三角矩阵是对角矩阵
  • 单纯矩阵：可对角化\(P^{-1}AP=D\)，其中\(P=(z_1,\dots,z_n)\)为标准正交基组成

• 过渡矩阵：基\(\alpha=(\alpha_1,\dots,\alpha_n)\)到基\(\beta=(\beta_1,\dots,\beta_n)\)的过渡矩阵\(A\)满足 \(\beta = \alpha A\)

  计算：\([\alpha | \beta]\) 初等行变换到 \([I | A]\)，原理\(P\alpha=I,~P\beta=P\alpha A=A\)

• 核空间：\(N(A) = \{x\in \mathbb{C}^n | Ax=0\}, ~A \in \mathbb{C}^{m \times n}\)

  像空间（列空间）：\(R(A) = span(a_1, \dots, a_n)=\{ A\mathbf{x} \mid \mathbf{x} \in \mathbb{R}^n \}\)，有\(R(A)\subseteq \mathbb{R}^m,~dim(R(A))=rank(A)=dim(R(A^T))\)

  行空间（\(A^T\)的值域）：\(R(A^T) = \{ A^T \mathbf{x} \mid \mathbf{x} \in \mathbb{R}^m \} \subseteq \mathbb{R}^n\)

  线性映射：零度（亏）为\(dimN(T)\)，秩为\(dimR(T)\)

  亏加秩定理：\(dimN(T) + dimR(T) = dimV, ~T\in L(V,W)\)，即为定义域维数

• 子空间：

  \(dim(W_1 + W_2) = dimW_1 + dimW_2 - dim(W_1 \cap W_2)\)

  直和：当\(W_1 \cap W_2 = \{0\}\)时，\(W_1 + W_2\)是直和\(W_1 \oplus W_2\)

• 线性映射：\(T(u_1,\dots,u_n) = (Tu_1,\dots, Tu_n) = (v_1,\dots,v_m) A\)，矩阵\(A=(a_{ij})_{m \times n}\)为线性映射T在两组基下的矩阵表示

  同构：双射+保持线性运算，\(V \cong W\)

  相似：T在不同基下的矩阵相似，即存在可逆矩阵C是的\(B=C^{-1}AC\)，相似矩阵的迹相同

• 特征值：\(Tx=\lambda x\)，特征多项式\(f(\lambda) = |A-\lambda I|=0\)，\(f(A)=0\)

  性质：行列式 \(|A|=det(A)=\prod \lambda_i\)，迹 \(tr(A)=\sum \lambda_i\)

  对应特征子空间\(E(\lambda)\)，几何重数\(dimE(\lambda)=n-r(\lambda I-A)\)，代数重数是\(f(\lambda)=0\)重根数\(d_i\)

  Schur引理：满秩阵P使\(P^{-1}AP\)为上三角阵，对角为A全部特征值，推论为多项式\(\varphi(x)\)的特征值为\(\varphi(\lambda)\)

  最小多项式：使A零化的最小次数的首1多项式 \(m_A(\lambda) = f(\lambda)\)

• 不变子空间：\(\forall x \in W, ~T(x) \in W\)

  V和零空间是平凡不变子空间，\(N(T), R(T), E(\lambda)\)都是T的不变子空间

  \(V=W_1 \oplus \cdots \oplus W_s \Leftrightarrow A = diag\{A_1,\cdots,A_s\}\)，其中W是T的不变子空间，A是T在某组基下的矩阵，\(A_i\)是\(T|_{W_i}\)在对应基下的矩阵

• 可对角化：

  等价于：

  • n个线性无关的特征向量
  • \(\sum dimE(\lambda_i)=n\)
  • 代数重数=几何重数
  • \(m_A(\lambda)\)无重根
  • \(\lambda I - A\)的初等因子为一次的

  对角化\(P^{-1}AP=D,~P=(x_1,\dots,x_n)\)

• \(A(\lambda)\)中不等于零的子式的最高阶数r为A的秩（？）

  初等变换（行列交换，数乘，乘多项式相加）

  初等变换等价\(A(\lambda) \cong B(\lambda)\) <=> 秩相同+有完全一致的初等因子

  Smith标准形：\(A \cong S\)

  左上角是\(diag\{d_1(\lambda),\dots,d_r(\lambda)\}\)，首一多项式\(d_i(\lambda) | d_{i+1}(\lambda)\)，称\(d_i(\lambda)\)为不变因子，指数大于零称为初等因子

  求解流程：A初等变换成对角阵，获取初等因子，降幂排列每列相乘获得不变因子

  

  当Smith标准形为对角阵(r=n)时，\(m_A(\lambda) = d_n(\lambda)\)

  Jordan标准形：\(A\sim J\)

  \[J=\begin{pmatrix} J_1 & & \\ & J_2 & \\ & & \ddots & \\ & & & J_m \end{pmatrix},~ J_i = \begin{pmatrix} \lambda_i & 1\\ & \lambda_i & 1 \\ & & \ddots & \ddots \\ & & & \ddots & 1 \\ & & & & \lambda_i \\ \end{pmatrix}_{n_i \times n_i} d_n(\lambda)=\prod_{i=1}^{s} (\lambda - \lambda_i)^{n_i} \]

• 欧氏空间：对称(y,x) + 可加(x+y, z) + 齐次(kx, y) + 非负(x,x)

  酉空间：共轭对称\(\overline{(y, x)}\) + 可加(x+y, z) + 齐次(kx, y) + 非负(x,x)

  向量长度\(||s||=\sqrt{(x,x)}\)

  

  正交向量组是线性无关的

  Gram-Schmidt正交化：\(\displaystyle y_i = x_i - \sum_{j=1}^{i-1}\frac{(x_i,y_j)}{(y_j,y_j)}y_j\)

  正交子空间：正交直和分解\(V=W\oplus W^{\perp}\)是唯一的，\(R(A^T)=N(A)^{\perp}\)

  正交变换：\(T(X,y)=(Tx,Ty)=(x,y)\)，保持长度不变、维持标准正交基、在标准正交基的矩阵为正交矩阵

  正交矩阵：\(AA^T=I\)，非奇异阵\(|A|=\pm1\)，\(|lambdda|=\pm1\)

  

分解

• 三角分解：

  • LR分解：\(A=LR\)，非奇异矩阵\(A\in\mathbb{C}^{n \times n}\)的顺序主子式均非零，单位下三角矩阵L，上三角矩阵R

    求解：\(\displaystyle l_{ik}=\frac{a_{ik}-\sum_{t=1}^{k-1} l_{it} r_{tk}}{r_{kk}}, ~r_{kj}=a_{kj}-\sum_{t=1}^{k-1} l_{kt} r_{tj}\)

    解方程：\(Ax=LRx=b\) 转化为 方程组 \(Ly=b,Rx=y\)

  • LDR分解：LR分解中R=>对角矩阵D*单位上三角矩阵R

  • Cholesky分解（乔列斯基）：\(A=GG^H=LDL^H\)，A是Hermite正定矩阵，G是下三角矩阵

• QR分解：满秩方阵\(A\in\mathbb{R}^{n \times n}\)，正交矩阵Q，正线上三角阵R

  \[A = QR = \begin{pmatrix} | & | & & | \\ z_1 & z_2 & \cdots & z_n \\ | & | & & | \end{pmatrix} \begin{pmatrix} \|y_1\| & (x_2, z_1) & \cdots & (x_n, z_1) \\ 0 & \|y_2\| & \cdots & (x_n, z_2) \\ 0 & 0 & \ddots & \vdots \\ 0 & 0 & \cdots & \|y_n\| \end{pmatrix} \]

  解方程：\(x=R^{-1}U^Hb\)

  复数：满秩方阵\(A\in\mathbb{C}^{n \times n}\)，酉矩阵U，正线上三角阵R，A=UR

• Schur分解：

  实方阵\(A\in\mathbb{R}^{n \times n}\)，正交矩阵

  \[Q^TAQ= Q^{-1}AQ= \begin{pmatrix} \lambda_1 & & & * \\ & \lambda_2 & & \\ & & \ddots & \\ 0 & & & \lambda_n \end{pmatrix} \]

  复方阵\(A\in\mathbb{C}^{n \times n}\)，酉矩阵U（A是正规矩阵<=>右式是对角阵 即酉相似）

  \[U^H A U = \begin{pmatrix} \lambda_1 & & & * \\ & \lambda_2 & & \\ & & \ddots & \\ 0 & & & \lambda_n \end{pmatrix} \]

  正规矩阵：n个特征向量组成一组标基，不同特征值的特征向量正交

• 满秩分解：\(A=FG, A\in\mathbb{C}_r^{m \times n}\)，不唯一

  F是Hermite标准型，G是取A中对应F中1所在的列

  Hermite标准型：前r行为非零行，第一个非零元素是1，1所在列其他因素是零

• 奇异值分解：\(A=US_rV^H, A\in\mathbb{C}_r^{m \times n}\)

  求解步骤：

  • \(|\lambda I - A^HA|=0\) 得出r个正奇异值 \(\sigma_i = \sqrt{\lambda_i}\)，\(S_r\)左上角为奇异值的对角阵，n个特征向量标准化得\(V=(z_1,\dots,z_n)\)
  • 对r个非零特征值对应特征向量计算\(Ax_1,\dots,Ax_r\)，扩充为\(\mathbb{C}^{m}\)的一组基，标准化得矩阵U

  简化奇异值分解：$$A = \begin{pmatrix} U_1 & U_2 \end{pmatrix} \begin{pmatrix} \Delta & 0 \ 0 & 0 \end{pmatrix} \begin{pmatrix} V_1^\top \ V_2^\top \end{pmatrix} = U_1 \Delta V_1^\top $$

  极分解：\(A=GU = (U_1S_rU_1^H) (U_1V_1^H)\)

• 谱分解： \(A=\sum_{i=1}^r \lambda_i E_i\)

  • 求解：

    • 正规矩阵：\(\lambda_i\)对应特征子空间的标准正交基\(z_i^1,\dots,z_i^{n_i}\)，则\(\displaystyle E_i = \sum_{k=1}^{n_i}(z_i^k) (z_i^k)^H\)
    • 单纯矩阵：标准正交基列向量组成\(P=(\alpha_1,\dots,\alpha_n)\)，\(P^{-1}\)的行向量\(\beta_1,\dots,\beta_n\)，\(\displaystyle E_i = \sum_{k=1}^{n_i} \alpha_i^k \beta_i^k\)
    • \(\displaystyle E_i=\frac{\prod_{j\neq i} A- \lambda_j}{\prod_{j\neq i} \lambda_i- \lambda_j}\)

  • 性质：投影变换：幂等阵\(Ex=E^2x\)，正交\(E_iE_j=0\)，和\(\sum E_i = I\)

  • 例题求解 \(A^{100} = \sum_{i=1}^r \lambda_i^{100} E_i, ~f(A)=\sum_{i=1}^r f(\lambda_i) E_i\)

• 最小二乘解：$ \min_{\mathbf{x}} | A \mathbf{x} - \mathbf{b} |_2^2 $

  • 解正规方程 $A^T A \mathbf{x} = A^T \mathbf{b} $，原理是目标函数梯度为0

  • 奇异值分解：$\mathbf{x} = V \Sigma^{+} U^T \mathbf{b} $

广义逆

• 定义：\(AXA=A,~XAX=X,~(AX)^H=AX,~(XA)^H=XA\) 之一，则X是A的广义逆矩阵

  

• 求解\(A^+\)：

  • 满秩分解：\(A^+ = G^H(GG^H)^{-1}(B^HB)^{-1}B^H=G^H(F^HAG^H)^{-1}F^H\)

    列满秩：\(A^+=(A^HA)^{-1}A^H\)

    行满秩：\(A^+=A^H(AA^H)^{-1}\)

  • 简化奇异值分解：\(A^+ = V_1 \Delta^{-1} U_1^H = V_1~diag\{\lambda_1^{-1},\dots,\lambda_r^{-1}\}~V_1^HA^H\)

    秩1公式：\(\displaystyle A^+ = \frac{A^H}{\sum{|a_{ij}|^2}}\)

• 性质：对称，半正定\(\overline{x}A^+x\geq0\)，\((A^H)^+=(A^+)^H, ~(A^+)^+=A, ~rank(A^+)=rank(A), ~||A^+||\leq ||A||^+\)

• 线性方程组:

  • 相容：

    定义：存在\(x\in \mathbb{C}^n\)使得非齐次线性方程组\(Ax=b\)成立，其中\(A\in \mathbb{C}^{m\times n},~b\in \mathbb{C}^m\)

    当且仅当 \(r(A | b) = r(A)\)

    性质：有\(AA^+b=b\)，解的通式\(x=A^+b+(I-A^+A)y\)

    相容方程组\(Ax=b\)的解唯一 <=> A列满秩

    唯一的极小范数解：\(x=A^{(1,4)}b\)

  • 不相容：

    不相容方程组的最小二乘解：\(x=A^{(1,3)}b=A^+b+(I-A^+A)y\)

    列满秩有\(A^{(1,3)}=A^+\)时最小二乘解唯一，行满秩有\(A^{(1,4)}=A^+\)

    唯一的极小最小二乘解：\(x=A^+b\)

函数

• 范数

  • 向量：

    x范数：\(||x||\)，满足正定(>0) + 齐次(数乘) + 三角不等式，称V是赋范线性空间

    p-范数：\(||x||_p = (\sum_{i=1}^n |x_i|^p)^{1/p}\)，有\(||x||_{\infty}=\displaystyle\max_{1\leq i \leq n}{|x_i|}\)，其中\(x=(x_1,\dots,x_n)^T\in \mathbb{C}^n\)

    命题：$$||\cdot||_{\alpha}$$是\(\mathbb{C}^m\)中的向量范数，则\(||x||_{\beta} = ||Ax||_{\alpha}\)是\(\mathbb{C}^m\)中的向量范数

    加权范数（椭圆范数）：\(||x||_A=\sqrt{x^HAx}\)，其中A为n阶Hermite矩阵

    极限：\(\displaystyle\lim_{m \rightarrow \infty}{||x_m-x||_{\alpha}}\)

  • 矩阵：

    矩阵范数（乘积范数）：\(||A||\)，满足正定(>0) + 齐次(数乘) + 三角不等式 + 相容性\(||AB||\leq ||A||~||B||\)

    F-范数（Frobenious范数）：\(||A||_F=(\sum_{i,j=1}^n |a_{ij}|^2)^{1/2}\)

    算子范数：\(||A||=\displaystyle\max_{||x||_V=1}{||Ax||_V}\)，称此矩阵范数为从属于向量范数\(||x||_V\)的算子范数，相容性\(|| A \mathbf{x}||_p \leq ||A||_p ||\mathbf{x}||_p\)

    列范数：\(||A||_1 = \displaystyle\max_{1\leq j \leq n} \sum_{i=1}^n {|a_{ij}|}\)

    行范数：\(||A||_{\infty} = \displaystyle\max_{1\leq i \leq n} \sum_{j=1}^n {|a_{ij}|}\)

    谱范数：\(||A||_2=\sqrt{\lambda_1}\)，其中\(\lambda_1\)为\(A^HA\)的最大特征值

  • 谱半径：\(\rho(A)\)为A的特征值的模的最大值，有\(\rho(A) \leq ||A||\)

• 盖尔圆盘：\(a_{ii}\)为圆心，第 \(i\) 行非对角线元素的模的和 \(\delta_i\) 为半径，特征值一定在某个圆里

• 矩阵函数：

  • 级数求和 \(\displaystyle f(A) = \sum_{k=0}^{\infty} \frac{f^{(k)}(0)}{k!} A^k\) （前提是谱半径\(\rho(A)\)小于收敛半径R）
  \[\begin{align} e^A &= \sum_{k=0}^{\infty} \frac{A^k}{k!} \\ \sin(A) &= \sum_{k=0}^{\infty} \frac{(-1)^k}{(2k+1)!} A^{2k+1} \\ \cos(A) &= \sum_{k=0}^{\infty} \frac{(-1)^k}{(2k)!} A^{2k} \\ (I - A)^{-1} &= \sum_{k=0}^{\infty} A^k \end{align} \]
  

  • 单纯矩阵：

    • 对角阵：\(f(A)=P diag\{f(\lambda_1),\dots,f(\lambda_n)\} P^{-1}\)，其中\(P=(z_1,\dots,z_n)\)

    • 谱分解：\(\rho(A)<R\) 时 \(f(A)\)的特征值为\(f(\lambda_1),\dots,f(\lambda_n)\)

      \(A=\sum_{i=1}^r \lambda_i E_i,~f(A)=\sum_{i=1}^r f(\lambda_i) E_i\)

  • Jordan标准形：

    \[\begin{align} f(At) &= P \begin{pmatrix} f(J_1(\lambda_1)t) & 0 & \cdots & 0 \\ 0 & f(J_2(\lambda_2)t) & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & f(J_s(\lambda_s)t) \end{pmatrix} P^{-1}\\ f(J_i(\lambda_i)t) &= \begin{pmatrix} f(\lambda_i t) & t f'(\lambda_i t) & \frac{t^2}{2!} f''(\lambda_i t) & \cdots & \frac{t^{n_i-1}}{(n_i-1)!} f^{(n_i-1)}(\lambda_i t) \\ 0 & f(\lambda_i t) & t f'(\lambda_i t) & \cdots & \frac{t^{n_i-2}}{(n_i-2)!} f^{(n_i-2)}(\lambda_i t) \\ 0 & 0 & f(\lambda_i t) & \cdots & \frac{t^{n_i-3}}{(n_i-3)!} f^{(n_i-3)}(\lambda_i t) \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & f(\lambda_i t) \end{pmatrix}_{n_i \times n_i}, \quad 1 \leq i \leq s. \end{align} \]

• 直积 / Kronecker积 / 张量积：

  \[A \otimes B = \begin{pmatrix} a_{11}B & a_{12}B & \cdots & a_{1n}B \\ a_{21}B & a_{22}B & \cdots & a_{2n}B \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1}B & a_{m2}B & \cdots & a_{mn}B \end{pmatrix} \]

  性质：可以分块运算，满足数乘、交换律、结合律、吸收率，保持H、rank、+、对角化

  \(tr(A \otimes B) = trA~trB, \quad rank(A \otimes B) = rank(A)~rank(B)\)

  特征根为所有\(\lambda_i \mu_j\)的组合，\(|A \otimes B| = |A|^m |B|^n\)，\(\rho(A \otimes B)=\max_{i,j}{\lambda_i \mu_j}\)

  拉直公式：\(\overrightarrow{ABC} = (A \otimes C^T) \overrightarrow{B}\)

  矩阵方程相容 AXB=D <=> \(rank(A \otimes B^T, \overrightarrow{D}) = rank(A \otimes B^T)\)

考题

• 用Householder变换将向量 $ a = (1, 2, 1)^T $ 变换为与 \((1, 0, 0)^T\)共线

• 求短奇异值分解

  \[A = \begin{pmatrix} 1 & 0 \\ 1 & 1 \\ 0 & -1 \end{pmatrix} \]

• 求\(e^{At}\)

  \[A = \begin{pmatrix} 2 & 4 & 1 \\ 0 & 1 & 0 \\ 0 & 1 & 1 \end{pmatrix} \]

• （1）满秩分解求\(A^+\)（2）方程式\(AX=b\)是否相容 （3）求b的极小范数解或极小最小二乘解

  \[ A = \begin{pmatrix} 1 & 1 & 0 & 1 & 1 \\ 0 & 1 & 1 & 0 & 0 \\ 1 & 2 & 1 & 1 & 1 \end{pmatrix}, \quad b = \begin{pmatrix} 3 \\ 1 \\ 4 \end{pmatrix} \]

• 证明\((AA^H)(AA^H)^-A=A\)