Convex Analysis and Monotone Operator Theory in Hilbert Spaces 3.1-3.2 总结材料

标签：right mathbf Theory Monotone 3.1 mathcal alpha operatorname left

拓扑空间

基本概念

集合是数学中最基本的概念之一，我们最常见的集合便是 \(\mathbb{R}\)。\(\mathbb{R}\) 中的元素有大小关系，即 \(\mathbb{R}\) 上有序结构；\(\mathbb{R}\) 中元素之间可以进行各种运算，即 \(\mathbb{R}\) 有代数结构；\(\mathbb{R}\) 的子集有开集闭集之分，即 \(\mathbb{R}\) 上有拓扑结构。一般地，对于集合 \(X\)，同 \(\mathbb{R}\) 一样，我们也可以定义其序结构，代数结构以及拓扑结构。

下面我们着重介绍其拓扑结构：
对于集合 \(X\)，设 \(\mathbf{T}\) 是包含 \(\emptyset,X\) 且对任意并、有限交封闭的子集族，则 \(\mathbf{T}\) 称为集合 \(X\) 上的一个拓扑，称 \((X,\mathbf{T})\) 为拓扑空间，\(\mathbf{T}\) 中元素称作开集。我们一般研究的拓扑空间为 Hausdroff\((T_2)\) 空间（等价于任意收敛网的极限唯一）：
\( \forall \mathbf{x}_1, \mathbf{x}_2\in X, \mathbf{x}_1\neq \mathbf{x}_2, \exists V_1\in \mathcal{V}(\mathbf{x}_1), V_2\in \mathcal{V}(\mathbf{x}_2)\text{使得}V_1\bigcap V_2=\emptyset \)

当 \((X,\mathbf{T})\) 为 Hausdroff 空间时我们有如下概念：

拓扑基 \(\mathbf{B}\quad\forall \mathbf{x} \in X, V\in \mathcal{V}(\mathbf{x}), \exists B\in \mathbf{B}\) 使得 \(\mathbf{x}\in B\subseteq V\)（任意开集均可以写成一族 \(\mathbf{B}\) 中元素的并）
闭集开集的补集（集合中的任意收敛网的极限点仍落在该集合中）
序列闭集集合中的任意收敛序列的极限点仍落在该集合中
\(\mathbf{x}\) 的邻域以包含 \(\mathbf{x}\) 的某个开集为子集的集合
\(\mathbf{x}\) 的邻域系 \(\mathcal{V}(\mathbf{x})\) \(\quad\mathbf{x}\) 的邻域全体
网 \((\mathbf{x}_a)_{a\in A}\) 的收敛 \(\quad(\mathbf{x}_a)_{a\in A}\) 终在 \(\mathbf{x}\) 的任意邻域
紧集任意开覆盖都存在有限子覆盖（集合中的任意网有收敛子网收敛到该集合中某元素）
序列紧集集合中的任意序列有收敛子序列收敛到该集合中某元素
函数 \(f:X \rightarrow \mathbb{R}\) 的连续性 \(\quad (\mathbf{x}_a)_{a\in A} \rightarrow \mathbf{x} \ \implies\ f(\mathbf{x}_a) \rightarrow f(\mathbf{x})\)（任意 \(\mathbb{R}\) 中的开集由 \(f\) 拉回去仍是 \((X, \mathbf{T} )\) 中的开集）

以上各定义由拓扑唯一确定，因而在讨论集合的开闭性和紧性、网的收敛性、函数的连续性时需强调在哪个拓扑下（赋范线性空间中未加强调时默认拓扑是范数诱导拓扑）。在序列空间（序列闭集与闭集等价）中，除列紧与紧外，其它由网定义的概念均与由序列定义的相应概念等价，如序列连续和连续。值得一提的是，度量空间是特殊的序列空间，此时，序列紧与紧也等价。

定理1.1（Weierstrass）
设 \((X,\mathbf{T})\) 是 Hausdroff 空间，\(f:X \rightarrow \left [-\infty, +\infty\right ]\) 下半连续，\(C\) 是 \(X\) 的紧子集，且 \(C\bigcap\operatorname{dom}f\neq \emptyset\)，则 \(f\) 在 \(C\) 上下确界可达。
证明：由 \(\inf f(C)\) 的定义，存在序列 \((\mathbf{x}_n)_{n\in\mathbb{N}}\subseteq C\) 使得 \(f(\mathbf{x}_n ) \rightarrow \inf f(C)\)。
序列 \((\mathbf{x}_n)_{n\in\mathbb{N}}\) 也为 \(C\) 中的网，因而由 \(C\) 是紧集得：存在子网 \((\mathbf{x}_{k(b)})_{b\in B} \rightarrow \mathbf{x}\in C\)。
因而由 \(f\) 的下半连续性有 \(f(\mathbf{x})\leqslant \liminf f(\mathbf{x}_{k(b)})=\lim f(\mathbf{x}_{k(b)})=\inf f(C)\)。
又由 \(\mathbf{x} \in C\) 有 \(f(\mathbf{x}_{k(b)}) \rightarrow \inf f(C)\leqslant f(\mathbf{x})\)。
综上得，\(f(\mathbf{x})=\inf f(C), \mathbf{x}\in C\)，即 \(f\) 在 \(C\) 上下确界可达。

弱拓扑

设 \(X\) 为一个未定义拓扑结构的集合，而 \(\left\{Y_{i}\right\}_{i \in I}\) 为一族拓扑空间。广义的弱拓扑指使得一族映射 \((\varphi_i:X \rightarrow Y_i)_{i\in I}\) 连续的最粗拓扑（开集尽可能少）。

一般来说，弱拓扑指赋范线性空间 \(X\) 上使得 \(X^*\) 中元素均连续的最粗拓扑，自然有结论：线性泛函在强弱拓扑下具有相同的连续性。
为了让 \(f\in X^*\) 连续，只需 \(f^{-1}(U)\) 为开集（\(U\) 为 \(\mathbb{R}\) 中任意开集），对于 \(\forall f\in X^*, \mathbf{x}_0 \in X, \varepsilon>0\)，设 \(V(f, \mathbf{x}_0, \varepsilon )=\left\lbrace \mathbf{x}\in X \mid |f(\mathbf{x}-\mathbf{x}_0)|<\varepsilon \right\rbrace=\left\lbrace \mathbf{x}\in X \mid f(\mathbf{x}_0)-\varepsilon<f(\mathbf{x})<f(\mathbf{x}_0)+\varepsilon \right\rbrace\)，那么弱拓扑 \(\sigma(X,X^*)\) 可如下生成：
\( \mathbf{B}=\left\lbrace V(f, \mathbf{x}_0, \varepsilon )\mid f\in X^*, \mathbf{x}_0 \in X, \varepsilon>0\right\rbrace\stackrel{\text{有限交}}{\longrightarrow}\ \Phi \stackrel{\text{任意并}}{\longrightarrow} \ \sigma(X,X^*). \)
即 \(\mathbf{B}\) 为弱拓扑 \(\sigma(X,X^*)\) 的拓扑子基，\(\Phi\) 为拓扑基，由此可见无穷维空间的弱开集一定无界。特别地，在实 Hilbert 空间 \(\mathcal{H}\) 中，开半空间的有限交全体构成了弱拓扑 \(\mathcal{H}^{weak}\) 的拓扑基。

引理1.2 \(\ \mathcal{H}^{weak}\) 是 Hausdroff 空间。
证明：假设 \(\mathbf{x}, \mathbf{y}\) 是 \(\mathcal{H}\) 中不同的任意两点，令 \(u=x-y, w=(x+y) / 2\)，易知 \(\{z \in \mathcal{H} \mid\langle z-w \mid u\rangle>0\}\) 和 \(\{z\in \mathcal{H} \mid\langle z-w \mid u\rangle<0\}\) 分别是 \(\mathbf{x}\) 和 \(\mathbf{y}\) 的不交弱开邻域，结论证毕。

注. 拓扑的强弱是相对的，一般指相对于范数诱导的拓扑。拓队越粗（弱），开集越少，紧集越多，函数越不容易连续。对于有限维赋范线性空间，线性泛函必然连续，所以强拓扑（范数诱导拓扑）与弱拓扑等价。

接下来介绍几种收敛性的定义：

强收敛 \(\Vert\mathbf{x}_n-\mathbf{x} \Vert \rightarrow 0 \quad\text{记作}\ \mathbf{x}_n \rightarrow\mathbf{x} \quad \{\mathbf{x}_n\}\subseteq X, \mathbf{x} \in X, X\) 为赋范线性空间。
弱收敛 \(\forall f\in X^*:\ f(\mathbf{x}_n) \rightarrow f(\mathbf{x}) \quad \text{记作}\ \mathbf{x}_n \stackrel{\text{弱}}{\longrightarrow} \mathbf{x}\quad \{\mathbf{x}_n\}\subseteq X, \mathbf{x} \in X.\)
弱 \(*\) 收敛 \(\forall \mathbf{x}\in X:\ f_n(\mathbf{x}) \rightarrow f(\mathbf{x}) \quad\text{记作}\ f_n \stackrel{\text{弱}*}{\longrightarrow} f \quad\{f_n\}\subseteq X^*, f \in X^*.\)

由此可见，我们可以在 \(X^*\) 中讨论三种收敛性，对应三个拓扑：

强收敛 \(\lVert f_n-f \rVert\implies 0 \quad\text{记作}\ f_n \rightarrow f\)
弱收敛 \(\forall T\in X^{**}:\ T(f_n) \rightarrow T(f) \quad\text{记作}\ f_n \stackrel{\text{弱}}{\longrightarrow} f\)·
弱 \(*\) 收敛 \(\forall \mathbf{x}\in X:\ f_n(\mathbf{x}) \rightarrow f(\mathbf{x}) \quad\text{记作}\ f_n \stackrel{\text{弱}*}{\longrightarrow} f\)

在等距同构的意义下，可以将 \(X\) 与 \(X^{**}\) 的一个子空间同等看待，因而弱收敛 \(\implies\) 弱 \(*\) 收敛。特别地，当 \(X\) 自反时，弱收敛与弱 \(*\) 收敛等价。

半连续

定义1.3 设 \((X,\mathbf{T})\) 为 Hausdroff 空间，\(f:X \rightarrow\left[-\infty,+\infty\right]\)，若对任意的网 \((\mathbf{x}_a)_{a\in A}\subseteq X, \mathbf{x}_a \rightarrow \mathbf{x}\) 有 \(f(\mathbf{x})\leqslant \liminf f(\mathbf{x}_a)\)，那么称 \(f\) 在 \(\mathbf{x}\) 处下半连续。

上半连续函数可类似定义，事实上，\(f\) 下半连续 \(\iff \operatorname{epi}f \ \text{闭}\iff \operatorname{lev}_{\leqslant \xi}\ \text{闭}\)。直观来看，\(f\) 下半连续即在间断点 \(\mathbf{x}\) 处函数值不比最小极限点大。特别地，对于 \(f:\mathbb{R} \rightarrow \mathbb{R}\) 有图如下：

引理1.4 设 \(\mathcal{H}\) 是实 Hilbert 空间，则其范数弱下半连续。
证明：在 \(\mathcal{H}\) 中任取网 \((\mathbf{x}_a)_{a\in A}\stackrel{\text{弱}}{\longrightarrow}\mathbf{x} \in \mathcal{H}\)，由 Cauthy-Schwarz 不等式得

\[\|\mathbf{x}\|^{2}=\lim \left|\left\langle \mathbf{x}_{a} \mid \mathbf{x}\right\rangle\right| \leqslant \liminf \left\|\mathbf{x}_{a}\right\|\|\mathbf{x}\| \text{使得} \stackrel{\lVert \mathbf{x}\rVert\neq 0}{\Longrightarrow} \|\mathbf{x}\|\leqslant \liminf \left\|\mathbf{x}_{a}\right\|. \]

当 \(\Vert\mathbf{x}\rVert\neq 0\) 时 \(\|\mathbf{x}\| \leqslant \liminf\left\|\mathbf{x}_{a}\right\|\) 显然成立，结论证毕。

命题1.5 假设 \(C\) 是 Hilbert 空间 \(\mathcal{H}\) 的非空弱闭子集，那么 \(C\) 可邻近。
证明：设 \(x\in\mathcal{H}, z\in C\)，令 \(D=C\cap \overline{ B(x,\|x-z\|) }\) 非空，则由投影的定义只需证 \(f:\mathcal{H}\mapsto \mathbb{R}\quad y\mapsto \|x-y\|\) 在 \(D\) 上下确界可达。
由题知，\(C\) 为空间 \(\mathcal{H}\) 的非空弱闭子集，也即 \(C\) 为空间 \(\mathcal{H}^{weak}\) 的非空闭子集，又 \(\overline{ B(x,\|x-z\|) }\) 为空间 \(\mathcal{H}^{weak}\) 的紧子集，由引理（\(\mathcal{H}^{weak}\) 为 Hausdroff 空间），引理（ Hausdroff 空间的紧子集是闭集，紧子集的闭子集是紧集）知 \(D\) 为空间 \(\mathcal{H}^{weak}\) 上的紧子集。
由引理（范数在空间 \(\mathcal{H}^{weak}\) 中下半连续）和 Weierstrass 定理（ Hausdroff 空间的下半连续函数在紧集上下确界可达）即得结论。

注：本命题证明的关键是使用 Weierstrass 定理，因而要求在某一 \(T_2\) 空间中闭范数球 \(\overline{ B(x,\|x-z\|) }\) 是紧集且 \(C\) 是闭集。在有限维赋范线性空间中有界闭集与紧集（范数诱导拓扑）等价，但在无穷维 Hausdroff 空间中，紧集必定是有界闭集，反之则不成立。特别地，闭范数球不再是紧集，因而在无穷维赋范线性空间中闭集不再是可邻近的充分条件。为了让闭范数球紧，需要引入更多的紧集，因而需要更少的开集，即需要更弱的拓扑，而无穷维 Hilbert 空间在弱拓扑下闭范数球是紧集，所以此时可邻近的充分条件需强化为弱拓扑下闭，即弱闭。

仿射算子与线性算子

仿射算子 \(T:X \rightarrow Y \quad\forall \mathbf{x}\in X, \mathbf{y}\in X, \lambda\in \mathbb{R}\) 有 \(T(\lambda \mathbf{x}+(1-\lambda )\mathbf{y})=\lambda T \mathbf{x}+(1-\lambda )T\mathbf{y}.\)
线性算子 \(T:X \rightarrow Y \quad\forall \mathbf{x}\in X, \mathbf{y}\in X, \alpha\in \mathbb{R}\) 有 \(T(\alpha \mathbf{x}+\mathbf{y})=\alpha T \mathbf{x}+T\mathbf{y}.\)
其中，\(X, Y\) 为实线性空间。显然，线性算子必定为仿射算子。

实际上，若 \(T\) 为仿射算子，则 \(T\mathbf{x}-T0\) 为线性算子，即仿射算子实质为线性算子加偏置项 \(T0\)，这与仿射子空间 \(T(X)=\underline{T(X)-T0}+T0\) 相吻合（\(T(X)-T0\) 为线性子空间）。

Hilbert 直和空间

定义3.1 设 \(I\) 为全序指标集，实 Hilbert 空间族 \((\mathcal{H_{i},\lVert\cdot\rVert_i})_{i\in I}\) 的 Hilbert 直和空间为

\[\bigoplus_{i \in I} \mathcal{H}_{i}=\left\{\mathbf{x}=\left(x_{i}\right)*{i \in I} \in \underset{i \in I}{\times}\mathcal{H}*{i}\mid \sum_{i \in I}\left\|x_{i}\right\|_{i}^{2}<+\infty\right\}. \]

其中，\(\mathbf{x}+\mathbf{y}=(x_i+y_i)_{i\in I}, \alpha \mathbf{x} =(\alpha x_i)_{i\in I}, (\mathbf{x},\mathbf{y})=\sum_{i \in I}(x_i,y_i)_i, \underset{i \in I}{\times}\mathcal{H}_{i}=\left\lbrace \left(x_{i}\right)_{i \in I}\mid x_i\in \mathcal{H}_{i}\right\rbrace\) 表示 \((\mathcal{H}_{i},\lVert \cdot \rVert_i)_{i\in I}\) 的笛卡尔乘积集合。特别地，当 \(I\) 为有限集时，\(\sum_{i\in I}\left\|x_{i}\right\|_{i}^{2}<+\infty\) 恒成立，此时，可将 \(\bigoplus_{i \in I} \mathcal{H}_{i}\) 写作 \(\underset{i \in I}{\times}\mathcal{H}_{i}\)。

注: 指标集 \(I\) 要求全序是为了使 \(\sum_{i \in I}\left\|x_{i}\right\|_{i}^{2}\) 良定义。

赋范线性空间

自反性与凸性

设 \(X\) 为赋范线性空间，则 \(X\) 上有界线性泛函全体称为 \(X\) 的共轭（对偶）空间，记为 \(X^*\)，其二次共轭空间记为 \(X^{**}\)。定义典型映射 \(J:X \rightarrow X^{**}\)：给定 \(\mathbf{x}\in X, J\mathbf{x}\) 为映射 \(f\mapsto f(\mathbf{x})\)，即 \(\left\langle J\mathbf{x},f \right \rangle = \left \langle f,\mathbf{x} \right \rangle\)，因而 \(J\) 是线性的且保度量，即 \(\lVert J\mathbf{x} \rVert_{X^{**}}=\lVert\mathbf{x} \rVert_X\)。若 \(J(X)=X^{**}\) 则称 \(X\) 为自反空间[1]。

注：并不是 \(X\) 只要满足 \(X\cong X^{**}\) 就是自反空间，这里的保范同构必须是典型映射，事实上，存在同构于其二次共轭空间的非自反空间，即所谓的 James 空间。

严格凸空间单位范数球严格凸\((\forall \lVert\mathbf{x}\rVert=\lVert\mathbf{y}\rVert=1, x\neq y, \alpha\in (0,1), \text{有}\ \lVert\alpha \mathbf{x}+(1-\alpha)\mathbf{y}\rVert<1)\)
一致凸空间 \(\forall 0<\varepsilon<2, \exists \delta(\varepsilon)>0,\) 使得 \(\forall \lVert\mathbf{x}\rVert=\lVert \mathbf{y} \rVert=1, \lVert \mathbf{x}-\mathbf{y} \rVert\geqslant \varepsilon, \text{有}\ \lVert \frac{\mathbf{x}+\mathbf{y}}{2} \rVert\leqslant 1-\delta(\varepsilon).\)
一致凸 \(\implies\) 自反\(\qquad\)一致凸 \(\implies\) 严格凸
自反空间 \((X,\lVert\cdot\rVert)\) 总可以在其上定义一个等价范数 \(\lVert\cdot \rVert_*\) 使得 \((X,\lVert\cdot \rVert_*)\) 严格凸
注： Hilbert 空间一致凸且严格凸，此时

\[\lVert \mathbf{x}+\mathbf{y} \rVert=\lVert \mathbf{x} \rVert+\lVert\mathbf{y}\rVert\iff \mathbf{y}=\alpha \mathbf{x} \ \text{或}\ \mathbf{x}=\alpha\mathbf{y}, \alpha\geqslant 0. \]

共轭算子

定义4.1 设 \(T\) 是赋范线性空间 \(X\) 到赋范线性空间 \(Y\) 的有界线性算子, 如果有 \(Y^{*}\) 到 \(X^{*}\) 的算子 \(T^{*}\) 使得对任意 \(h \in Y^{*}, x \in X\)，有

\[\left(T^{*} h\right)(x)=h(T x) \]

那么称 \(T^{*}\) 是 \(T\) 的共轭算子（伴随算子）。

注：当 \(X, Y\) 为 Hilbert 空间时，\(X, Y\) 分别与 \(X^*, Y^*\) 同构，此时有界线性算子 \(T\in \mathcal{B}(X,Y)\) 的唯一共轭算子 \(T^*\in \mathcal{B}(Y,X)\) 满足

\[(\forall x \in X)(\forall y \in Y) \langle Tx \mid y\rangle=\left\langle x \mid T^{*} y\right\rangle. \]

\(\operatorname{ran T}\) 闭的等价条件

完备性用来描述度量空间的性质，如果度量空间 \(X\) 的任意cauthy序列均收敛，那么称 \(X\) 是完备度量空间。闭性用来描述拓扑空间中的子集的性质，在度量空间 \(X\) 中，如果 \(C\subseteq X\) 的任意收敛序列的极限点仍在 \(C\) 中，那么称 \(C\) 是 \(X\) 中的闭集。

注：当 \(X\) 是完备度量空间时，\(X\) 的线性子空间 \(V\) 完备当且仅当 \(V\) 是闭集。

命题4.2 设 \(X, Y\) 是赋范线性空间，\(A:X \rightarrow Y\) 是线性算子，那么 \(A\) 是单射且定义在 \(R(A)\) 上的算子 \(A^{-1}\) 是连续的当且仅当存在常数 \(m>0\) 使得 \(\|A \mathbf{x}\| \geqslant m\|\mathbf{x}\| , \forall \mathbf{x} \in X\)。
证明：先证充分性，显然 \(A\mathbf{x}=0\) 蕴含 \(\mathbf{x} =0\)，故 \(A\) 是单射，从而 \(A^{-1}\) 是定义在 \(R(A)\) 上的线性映射。设 \(\mathbf{y}=A \mathbf{x}\)，则 \(\mathbf{x}=A^{-1} \mathbf{y}\). 由假设 \(\|\mathbf{y}\| \geqslant m\left\|A^{-1} \mathbf{y}\right\|\) 足见 \(A^{-1}\) 是有界的。
条件还是必要的，否则，对每个正整数 \(n\)，有 \(\mathbf{x}_{n} \in X\) 使得

\[\left\|A \mathbf{x}_{n}\right\|<\frac{1}{n}\Vert{\mathbf{x}_{n}}. \]

设 \(\mathbf{y}_{n}=A \mathbf{x}_{n},\) 则

\[\left\|y_{n}\right\|<\frac{1}{n}\left\|A^{-1} y_{n}\right\|. \]

可见 \(A^{-1}\) 不是有界的，与假设 \(A^{-1}\) 连续矛盾，故必要性成立。

定理4.3（逆算子定理[2]）设 \(X, Y\) 是 Banach 空间，\(T \in \mathcal{B}(X, Y)\)，如果 \(T\) 是双射，则 \(T^{-1}\) 连续。

命题4.4 设 \(\mathcal{H}, \mathcal{K}\) 为实 Hilbert 空间，\(T\in\mathcal{B}(\mathcal{H},\mathcal{K})\)，则 \(\operatorname{ran} T\) 是闭线性子空间 \(\iff\) 存在常数 \(m>0\) 使得 \(\|T \mathbf{x}\| \geqslant m\|\mathbf{x}\| , \forall \mathbf{x} \in (\operatorname{ker} T)^{\perp}\)。
证明：已知 \(T\in\mathcal{B}(\mathcal{H},\mathcal{K})\)，\((\operatorname{ker} T)^{\perp}\) 为 Hilbert 空间 \(\mathcal{H}\) 的闭线性子空间，因而完备，即 \((\operatorname{ker} T)^{\perp}\) 为 Hilbert 空间，故将 \(T\) 限制在 \((\operatorname{ker} T)^{\perp}\) 上易得 \(\tilde{T}\triangleq T\mid_{(\operatorname{ker} T)^{\perp}}\in \mathcal{B}((\operatorname{ker} T)^{\perp}, \operatorname{ran} T)\) 且 \(\tilde{T}\) 为双射（设 \(\mathbf{x}_1, \mathbf{x}_2\in (\operatorname{ker} T)^{\perp}, \tilde{T}\mathbf{x}_1=\tilde{T}\mathbf{x}_2\)，则 \(\mathbf{x}_1-\mathbf{x}_2\in (\operatorname{ker} T)^{\perp}\cap (\operatorname{ker} T)=0\)，即 \(\mathbf{x}_1=\mathbf{x}_2\)，故 \(\tilde{T}\) 为单射）。
由命题 4.2 我们只需证

\[\operatorname{ran} T \text{闭}\ \iff\ \tilde{T}^{-1} \text{连续} \]

必要性：\(\operatorname{ran} T\) 是闭线性子空间时，我们有 \(\operatorname{ran} T\) 为 Hilbert 空间，由定理 4.3 即得 \(\tilde{T}^{-1}\) 连续。
充分性：\(\tilde{T}^{-1}\) 连续时我们有 \(\tilde{T}^{-1}\in \mathcal{B}(\operatorname{ran} T, (\operatorname{ker} T)^{\perp})\)，由于 \((\operatorname{ker} T)^{\perp}\) 为闭集，由算子连续的性质得 \(\ (\tilde{T}^{-1})^{-1}(\operatorname{ker} T)^{\perp})=\operatorname{ran} T\) 为闭集。

低秩逼近

定理5.1（von Neumann[3]）设 \(A, B \in \mathbb{C}^{m \times n}\)，它们分别有奇异值 \(\alpha_1 \geqslant \cdots \geqslant \alpha_{n} \geqslant 0\) 和 \(\beta_{1} \geqslant \cdots \geqslant \beta_{n} \geqslant 0\)，则

\[\max_{\substack{\text{酉矩阵}U \in \mathbb{C}^{m \times m},\text{酉矩阵}V \in \mathbb{C}^{n \times n}} } \operatorname{Re} \ \operatorname{tr}\left(UAVB^{H}\right)=\sum_{i=1}^{n} \alpha_{i} \beta_{i}. \]

例5.2（Eckart–Young）设 \(\mathcal{H}\) 是矩阵空间 \(\mathbb{R}^{M\times N}, m=\min \{M, N\}\)，其上内积定义为 \(<A,B>=\operatorname{tr}(A^T B)\)（内积诱导范数为 \(F\) 范数），\(C=\{A \in \mathcal{H} \mid \operatorname{rank} A \leqslant q<m\}\)，那么 \(C\) 为可邻近集。具体来说，设 \(A \in \mathcal{H}\) 满足 \(\operatorname{rank} A=r>q\) 并有奇异值分解 \(A=U \Sigma V^{T}, \ U \in \mathbb{R}^{M \times M}\ \text{和}\ V \in \mathbb{R}^{N \times N}\)为正交矩阵，\(\sigma_{1}(A) \geqslant \cdots \geqslant \sigma_{r}(A)>\sigma_{r+1}(A)=\cdots=\sigma_{m}(A)=0\) 是 \(A\) 的奇异值，则 \(P=U \Sigma_{q} V^{T}\) 是 \(A\) 到 \(C\) 的投影，其中 \(\Sigma_{q}=\operatorname{Diag}\left(\sigma_{1}(A), \ldots, \sigma_{q}(A), 0, \ldots, 0\right)\)，投影唯一当且仅当 \(\sigma_{q+1}(A) \neq \sigma_{q}(A)\)。
证明：设 \(B\in C\) 且有奇异值分解 \(B=U_1 \Sigma_1 V_1^{T},\ U_1 \in \mathbb{R}^{M \times M}\ \text{和}\ V_1 \in \mathbb{R}^{N \times N}\) 为正交矩阵，\(\sigma_{1}(B)\geqslant \cdots \geqslant \sigma_{q}(B)\geqslant\sigma_{q+1}(B)=\cdots=\sigma_{m}(B)=0\) 为其奇异值，那么由定理 5.1 有

\[\begin{aligned} & \min_{B\in C}\ \lVert A-B\rVert_{F}^{2} \\ = & \min_{B\in C}\ \lVert A \rVert_{F}^{2}+\lVert B \rVert_{F}^{2}-2\operatorname{tr}(A^T B) \\ = & \min_{ \sigma_i(B)}\ \min_{U_1, V_1}\ \sum_{i=1}^{r}\sigma_i^2(A)+\sum_{i=1}^{r}\sigma_i^2(B)-2\operatorname{tr}(A^T U_1 \Sigma_1 V_1^{T}) \\ = & \min_{ \sigma_i(B)}\ \sum_{i=1}^{r}\sigma_i^2(A)+ \sum_{i=1}^{r}\sigma_i^2(B)-2\sum_{i=1}^{r}\sigma_i(A) \sigma_i(B) \\ = & \min_{ \sigma_i(B)} \sum_{i=1}^{r} (\sigma_i(A)-\sigma_i(B))^2 \end{aligned} \]

易验证取得最小值时 \(U_1=U, V_1=V\)，又有 \(\sigma_{1}(B) \geqslant \cdots \geqslant \sigma_{q}(B)\geqslant\sigma_{q+1}(B)=\cdots=\sigma_{m}(B)=0\)，所以取得最小值时 \(\sigma_{i}(B)\) 需满足

\[(\forall i \in\{1, \ldots, m\}) \sigma_{ i}(B)=\left\{\begin{array}{ll} \sigma_{i}(A), & 1 \leqslant i \leqslant q , \\ 0, & q+1 \leqslant i \leqslant m. \end{array}\right. \]

至此我们证明了 \(P=U \Sigma_{q} V^{T}\) 是 \(A\) 到 \(C\) 的投影，其中 \(\Sigma_{q}=\operatorname{Diag}\left(\sigma_{1}(A), \ldots, \sigma_{q}(A), 0, \ldots, 0\right)\)，因为不同奇异值对应不同的特征向量，所以投影唯一当且仅当 \(\sigma_{q+1}(A) \neq \sigma_{q}(A)\)。

凸包的等价定义

命题6.1 设 \(C \subseteq \mathcal{H}, D\) 是 \(C\) 中任意有限个点的凸组合全体组成的集合，即

\[D=\left\{\sum_{i=1}^{n} \alpha_{i} x_{i} \mid x_{i} \in C, \alpha_{i} \in(0,1), i=1,2, \cdots, n, \sum_{i=1}^{n} \alpha_{i}=1\right\} \]

那么 \(D=\operatorname{conv} C\)。

为了证明命题 6.1 , 我们先证如下引理：

引理6.2 设 \(C \subseteq \mathcal{H}\) 是凸集，那么 \(C\) 中任意有限个点的凸组合仍在 \(C\) 中，即

\[\forall x_{i} \in C, \alpha_{i} \in(0,1), i=1,2, \cdots, n, \sum_{i=1}^{n} \alpha_{i}=1, \sum_{i=1}^{n} \alpha_{i} x_{i} \in C . \]

证明：使用数学归纳法：当 \(n=2\) 时由定义显然成立;
假设 \(n=k\) 时结论成立，即 \(\forall x_{i} \in C, \alpha_{i} \in(0,1), i=1,2, \cdots, k, \sum_{i=1}^{k} \alpha_{i}=1, \sum_{i=1}^{k} \alpha_{i} x_{i} \in C ;\)
那么 \(n=k+1\) 时,\(\forall x_{i} \in C, \alpha_{i} \in(0,1), i=1,2, \cdots, k+1, \sum_{i=1}^{k+1} \alpha_{i}=1,\) 我们有

\[\sum_{i=1}^{k+1} \alpha_{i} x_{i}=\sum_{i=1}^{k} \alpha_{i} x_{i}+\alpha_{k+1} x_{k+1}=\underline{\left(1-\alpha_{k+1}\right)} \sum_{i=1}^{k} \frac{\alpha_{i}}{1-\alpha_{k+1}} x_{i}+\underline{\alpha_{k+1}} x_{k+1}. \]

观察到 \(\sum_{i=1}^{k} \frac{\alpha_{i}}{1-\alpha_{k+1}}=\frac{\alpha_{1}+\cdots+\alpha_{k}}{1-\alpha_{k+1}}=1,\) 由假设知 \(\sum_{i=1}^{k} \frac{\alpha_{i}}{1-\alpha_{k+1}} x_{i} \in C,\) 又有 \(1-\alpha_{k+1}+\alpha_{k+1}=1, x_{k+1} \in C,\) 由凸集的定义得 \(\sum_{i=1}^{k+1} \alpha_{i} x_{i} \in C\)。

接下来我们证明命题 6.1 :
证明：先证 \(\operatorname{conv} C \subseteq D,\) 由定义知 \(\operatorname{conv} C\) 是包含 \(C\) 的最小凸集，因而只需证 \(D\) 为凸集。\(\forall x, y \in D, x=\sum_{i=1}^{n} \alpha_{i} x_{i}, y=\sum_{i=1}^{m} \beta_{i} y_{i}, \sum_{i=1}^{n} \alpha_{i}=\sum_{i=1}^{m} \beta_{i}=1, x_{i}, y_{i} \in C,\) 我们有

\[\forall \alpha \in(0,1), \alpha x+(1-\alpha) y=\alpha \sum_{i=1}^{n} \alpha_{i} x_{i}+(1-\alpha) \sum_{i=1}^{m} \beta_{i} y_{i}=\sum_{i=1}^{n} \alpha \alpha_{i} x_{i}+\sum_{i=1}^{m}(1-\alpha) \beta_{i} y_{i} \]

又有 \(\sum_{i=1}^{n} \alpha \alpha_{i}+\sum_{i=1}^{m}(1-\alpha) \beta_{i}=\alpha+1-\alpha=1,\) 由 \(D\) 的定义得 \(\alpha x+(1-\alpha) y \in D,\) 即证 \(D\) 是凸集。
接下来证明 \(D \subseteq \operatorname{conv}C，\forall x=\sum_{i=1}^{n} \alpha_{i} x_{i}, x_{i} \in C \subseteq \operatorname{conv} C, \sum_{i=1}^{n} \alpha_{i}=1, x \in D,\) 又 \(\operatorname{conv} C\) 为凸集，由引理 6.2 得 \(x \in \operatorname{conv} C\)。

投影算子的连续性

命题7.1 假设 \(\mathcal{H}\) 为有限维 Hilbert 空间，\(C\) 是 \(\mathcal{H}\) 的 Chebyshev 子集，那么 \(P_{C}\) 连续。
证明：要证 \(P_{C}\) 连续，只需证 \(x_{n}, x \in \mathcal{H}, x_{n} \rightarrow x \implies P_{C} x_{n} \rightarrow P_{C} x\)。
由例 1.48 知 \(d_{C}(x)=\inf d(x, C)=\left\|x-P_{C} x\right\|\) 连续 \(,\) 所以 \(d_{C}\left(x_{n}\right) \rightarrow d_{C}(x),\) 即 \(\left\|x_{n}-P_{C} x_{n}\right\| \rightarrow\left\|x-P_{C} x\right\|\)。由 \(\mathbb{R}\) 上收敛序列的有界性知，存在 \(M, N>0\) 使得 \(\left\|x_{n}-P_{C} x_{n}\right\| \leqslant M, \left\|x_{n}\right\| \leqslant N\)（由范数的连续性，\(\left\|x_{n}\right\| \rightarrow\lVert x \rVert\)），继而由范数的三角不等式得

\[\left\|P_{C} x_{n}\right\|=\left\|P_{C} x_{n}-x_{n}+x_{n}\right\| \leqslant\left\|P_{C} x_{n}-x_{n}\right\|+\left\|x_{n}\right\| \leqslant M+N. \]

即 \(\{P_{C} x_{n}\}_{n \in \mathbb{N}} \subseteq C\) 为有界集，又 \(\mathcal{H}\) 为有限维 Hilbert 空间，因而 \(\{P_{C} x_{n}\}_{n \in \mathbb{N}} \subseteq C\) 列紧，所以存在收敛子列 \(P_{C} x_{k_{n}} \rightarrow y\)。
事实上，\(P_{C} x_{k_{n}} \rightarrow y\) 为闭集 \(C\) 上收敛序列，因而 \(y \in C\)。由范数的连续性得 \(\left\|x_{k_{n}}-P_{C} x_{k_{n}}\right\| \rightarrow\|x-y\|=\left\|x-P_{C} x\right\|\)，进而由 \(P_{C}\) 的定义得 \(y=P_{C} x,\) 又 \(C\) 是 \(\mathcal{H}\) 的 Chebyshev 子集，所以 \(y\) 是 \(P_{C} x_{n}\) 的唯一聚点，加之 \(\{P_{C} x_{n}\}_{n \in \mathbb{N}} \subseteq C\) 为有界序列，因而 \(P_{C} x_{n} \rightarrow y=P_{C} x\)。

参考文献

[1] 张世清. 泛函分析及其应用. 科学出版社, 2018.
[2] 江泽坚，孙善利. 泛函分析 [第二版](M). 高等教育出版社, 2005.
[3] 孙继广. 矩阵扰动分析. 第 2 版 [M]. 科学出版社, 2001.

标签：right,mathbf,Theory,Monotone,3.1,mathcal,alpha,operatorname,left
From： https://www.cnblogs.com/BoyaYan/p/17237330.html