首页 > 其他分享 >《线性代数》6. 线性相关、线性无关与生成空间

《线性代数》6. 线性相关、线性无关与生成空间

时间:2023-09-02 20:23:49浏览次数:42  
标签:begin end 线性代数 线性相关 Bmatrix 线性 向量 vec

线性组合

回忆一下向量的两个最基本的运算:

  • 向量加法:\(\vec{v} + \vec{w}\)
  • 向量乘法:\(k\vec{v}\)

这两个基本运算构建了线性代数中最重要的一个概念:线性组合。对于若干个 \(n\) 维向量 \(\vec{v_{1}}, \vec{v_{2}}, \vec{v_{3}}, ..., \vec{v_{p}}\),那么 \(k_{1}·\vec{v_{1}}+k_{2}·\vec{v_{2}}+k_{3}·\vec{v_{3}}+...+k_{p}·\vec{v_{p}}\) 称为这些向量的一个线性组合。

可以理解一下线性组合这个概念,其实很好理解,就是有 \(p\) 个 \(n\) 维向量,将每个向量的前面乘上一个系数,然后再加起来,得到的结果就是这 \(p\) 个向量的线性组合。

为了更好的理解线性组合,我们举个例子。首先在三维空间中,存在三个标准单位向量:\(\vec{e_{1}} = (1, 0, 0)^{T}, \vec{e_{2}} = (0, 1, 0)^{T}, \vec{e_{3}} = (0, 0, 1)^{T}\)。

单位向量就是模为 \(1\) 的向量,标准单位向量就是一个点为 \(1\)、其余点为 \(0\) 的单位向量。显然单位向量可以有无数个,但标准单位向量的个数取决于空间的维度,比如 \(n\) 维空间中就有 \(n\) 个标准单位向量。

而任何一个点都可以用标准单位向量表示,比如:\(\vec{v} = (x, y, z) = x·(1, 0, 0)^{T} + y·(0, 1, 0)^{T} + z·(0, 0, 1)^{T} = x·\vec{e_{1}} + y·\vec{e_{2}} + z·\vec{e_{3}}\)。所以任何一个向量,都可以用标准单位向量的一个线性组合表示。

再比如矩阵乘上一个向量:

\(\begin{Bmatrix}a & b\\c & d\end{Bmatrix}·\begin{Bmatrix}k_{1}\\k_{2}\end{Bmatrix} = \begin{Bmatrix}a·k_{1} + b·k_{2}\\c·k_{1} + d·k_{2}\end{Bmatrix}\)

我们完全可以把矩阵拆分成两个向量:

\(\begin{Bmatrix}a & b\\c & d\end{Bmatrix}·\begin{Bmatrix}k_{1}\\k_{2}\end{Bmatrix} = k_{1}·\begin{Bmatrix}a\\c\end{Bmatrix} + k_{2}·\begin{Bmatrix}b\\d\end{Bmatrix} = \begin{Bmatrix}a·k_{1}\\c·k_{1}\end{Bmatrix} + \begin{Bmatrix}b·k_{2}\\d·k_{2}\end{Bmatrix} = \begin{Bmatrix}a·k_{1} + b·k_{2}\\c·k_{1} + d·k_{2}\end{Bmatrix}\)

此时也对应一个线性组合,然后重点来了,对于一组向量 \(\vec{v_{1}}, \vec{v_{2}}, \vec{v_{3}}, ..., \vec{v_{p}}\):

  • 如果能找到一组标量:\(k_{1}, k_{2}, k_{3}, ..., k_{p}\)(不全为 0),使得 \(k_{1}·\vec{v_{1}}+k_{2}·\vec{v_{2}}+k_{3}·\vec{v_{3}}+...+k_{p}·\vec{v_{p}}\) 等于零向量,那么就称这 \(p\) 个向量是线性相关的。
  • 如果只有当 \(k_{1}, k_{2}, k_{3}, ..., k_{p}\) 全部为 0 的时候,\(k_{1}·\vec{v_{1}}+k_{2}·\vec{v_{2}}+k_{3}·\vec{v_{3}}+...+k_{p}·\vec{v_{p}}\) 才等于零向量,那么这个 \(p\) 个向量就是线性无关的。

换句话说,如果一组向量是线性相关,那么其中至少有一个向量可以被其它向量表示,也就是存在一组不全为 \(0\) 的系数,这些系数和向量相乘之后的和为零向量;如果一组向量线性无关,那么没有任何一个向量可以被其它的向量表示,也就是线性组合为零向量的唯一办法就是所有的系数都为 \(0\)。

我们举个例子:

\(v_{1} = \begin{Bmatrix}2\\2\end{Bmatrix}, v_{2} = \begin{Bmatrix}8\\6\end{Bmatrix}, v_{3} = \begin{Bmatrix}0\\1\end{Bmatrix}\)

由于 \(v_{2} = 4·v_{1} - 2·v_{3}\),或者说存在 \(k_{1} = 4, k_{2} = -1, k_{3} = -2\),使得 \(k_{1}v_{1} + k_{2}v_{2} + k_{3}v_{3} = O\),所以 \(v_{1}, v_{2}, v_{3}\) 是线性相关的。

\(v_{1} = \begin{Bmatrix}1\\0\end{Bmatrix}, v_{2} = \begin{Bmatrix}0\\1\end{Bmatrix}\)

此时 \(v_{1},v_{2}\) 就是线性无关的,因为任何一个向量都无法被其它向量表示。换句话说,我们找不到一组标量 \(k\),使得它们的线性组合为零向量,除非这组 \(k\) 全部是 \(0\),但 \(0\) 和任意向量相乘,结果都是零向量。所以如果只有组里面的 \(k\) 都是 \(0\),才能使得这些向量线性组合的结果为零向量,那么这些向量就是线性无关的。

然后我们不难发现,任何一个向量和它的标准单位向量都是线性相关的,我们以三维空间为例。

对于任何一个向量:\(\vec{v} = \begin{Bmatrix}x\\y\\z\end{Bmatrix}\),都有 \(\vec{v} = x· \begin{Bmatrix}1\\0\\0\end{Bmatrix} + y· \begin{Bmatrix}0\\1\\0\end{Bmatrix} + z· \begin{Bmatrix}0\\0\\1\end{Bmatrix}\),因此(所有的)标准单位向量和任何一个向量组合起来,那么这组向量都是线性相关的。

补充:只要这组向量中有一个向量和可以被其它向量表示,那么这组向量就是线性相关的。换句话说,对于 \(k_{1}v_{1} + k_{2}v_{2} + k_{3}v_{3} + ... + k_{p}v_{p} = O\),当 \(k_{i}\) 不为 0 时,\(v_{i}\) 才可以被其它向量表示。

矩阵的逆与线性相关、线性无关

先来补充一下线性相关的一些性质:假设有 \(m\) 个 \(n\) 维向量 \(\vec{v_{1}},\vec{v_{2}},\vec{v_{3}},...,\vec{v_{m}}\),如果 \(m > n\),那么这 \(m\) 个向量一定是线性相关。比如有 \(4\) 个三维向量,那么不管向量的值是多少,它们一定线性相关。我们证明一下,要找到一组不全为 \(0\) 的数,使得:

\(k_{1}·v_{1} + k_{2}·v_{2} + k_{3}·v_{3} + ··· + k_{m}·v_{m} = k_{1}·\begin{Bmatrix}v_{11}\\v_{12}\\v_{13}\\···\\v_{1n}\end{Bmatrix} + k_{2}·\begin{Bmatrix}v_{21}\\v_{22}\\v_{23}\\···\\v_{2n}\end{Bmatrix} + k_{3}·\begin{Bmatrix}v_{31}\\v_{32}\\v_{33}\\···\\v_{3n}\end{Bmatrix} + ··· + k_{m}·\begin{Bmatrix}v_{m1}\\v_{m2}\\v_{m3}\\···\\v_{mn}\end{Bmatrix} = O\)

我们知道矩阵 \(A\) 和一个向量 \(\vec{v}\) 相乘,可以看作是 \(A\) 的每一个列向量和 \(\vec{v}\) 的每一个标量相乘,然后再相加。那么这个过程也可以反过来,因此上面的式子等价于如下:

\(\begin{Bmatrix}v_{11}&v_{21}&v_{31}&···&v_{m1}\\v_{12}&v_{22}&v_{32}&···&v_{m2}\\v_{13}&v_{23}&v_{33}&···&v_{m3}\\···&···&···&···&···\\v_{1n}&v_{2n}&v_{3n}&···&v_{mn}\end{Bmatrix} · \begin{Bmatrix}k_{1}\\k_{2}\\k_{3}\\···\\k_{m}\end{Bmatrix} = O\)

由于等号右边全部是 0, 所以我们只看系数矩阵即可,所以这又可以转化为一个线性系统问题。接下来我们的任务就是看这个线性系统是否有非零解,首先零解肯定是解的一种,但如果只有零解,那么显然这 \(m\) 个 \(n\) 维向量就是线性无关的,否则就是线性相关。

由于 \(m > n\),也就是说系数矩阵的列数要大于行数,或者说未知数的个数大于方程的个数。所以它会有无数解,而不是只有一个零解,因此这 \(m\) 个向量是线性相关。

所以得出结论:如果向量的个数 \(m\) 大于向量的维度 \(n\),那么这 \(m\) 个向量是线性相关。

那么问题来了,它们何时线性无关呢?如果线性无关,那么 \(k_{1},k_{2},...,k_{m}\) 必须全部为 \(0\),换句话说系数矩阵 \(A·x = O\) 只有零解。根据克拉默法则,若齐次线性方程组只有零解,那么系数矩阵的行列式不为 \(0\),而行列式不为 \(0\) 是矩阵可逆的一个充要条件。

关于行列式后续再聊,总之只需要知道:如果系数矩阵是可逆的(非奇异矩阵),那么这 \(m\) 个向量就线性无关。而矩阵可逆也隐含了 \(m\) 和 \(n\) 是相同的。

直观理解线性相关和线性无关

我们上面介绍了线性相关和线性无关,对于若干个 \(n\) 维向量 \(\vec{v_{1}},\vec{v_{2}},\vec{v_{3}},...,\vec{v_{m}}\),如果存在至少一组不全为 \(0\) 的 \(k\),使得 \(k_{1}·v_{1} + k_{2}·v_{2} + k_{3}·v_{3} + ··· + k_{m}·v_{m} = O\),那么这若干个向量就是线性相关,否则就是线性无关。光看定义还是很好理解的,但是这背后的含义估计有人还是觉得不够直观,那么下面就来换个角度来理解它。

所谓线性相关,就是其中一个向量和被其它向量的线性组合表示,这也是相关二字的含义,因为一个向量被其它向量关联起来了。但是从信息角度来看,线性相关就以为着这组向量存在信息冗余,因为至少会有一个向量可以表示成其它向量的线性组合,那么这个向量本身就没有表达任何新的信息。而线性无关则意味着信息的完全不冗余,因为每个向量都是独立的,无法表达成其它向量的线性组合。

下面我们就以二维平面为例,在里面随便定义两个向量。

蓝色箭头是随便定义的两个向量,我们记作 \(\vec{u}, \vec{w}\),它们什么关系我们并不在乎,有可能线性相关,也可能线性无关。但如果再加入第三个向量(图中的绿色箭头),那么这三个向量就一定线性相关。证明也很简单,我们将蓝色箭头所在线段延长,并从绿色箭头的位置向两个线段做彼此的平行线,交点为 A、B。显然绿色箭头代表的向量就等于 \(OA + OB\),而 \(OA\) 和 \(OB\) 又可以表示成 \(\vec{u}\) 和 \(\vec{w}\) 的 \(k_{1}\)、\(k_{2}\) 倍,所以三个向量一定是线性相关的。

当然啦,图中的三个向量都画在了坐标系的第一象限,此时 \(k_{1}, k_{2}\) 均为正值。但其它象限也是一样的,只是 \(k_{1}, k_{2}\) 的符号会发生变化。

然后图中的 \(\vec{u}, \vec{w}\) 是不共线的,如果它们共线呢?答案就更简单了,此时这两个向量本身就是线性相关的。如果再来一个向量 \(\vec{v}\),它们仍然线性相关,只需要让 \(\vec{v}\) 系数为 \(0\) 即可。

以上是二维空间,该结论同样可以扩展到 \(n\) 维空间。假设有 \(n\) 个 \(n\) 维向量,它们之间是否线性相关我们无法确定,但如果有 \(n + 1\) 个,那么一定线性相关。

然后我们还可以得出一个结论,如果 \(n\) 个向量中存在零向量,那么这 \(n\) 个向量也一定线性相关(不管向量的维度是多少)。这个也很好证明,只需要让非零向量的系数为 \(0\),零向量的系数不为 \(0\)(随便一个数都行),这样相加之后还是零向量,我们依旧找到了一组不全为 \(0\) 的 \(k\),所以它们线性相关。

生成空间

我们上面已经证明了,在二维空间随便选择两个向量 \(\vec{u},\vec{w}\),只要这两个向量不共线,那么任意的第三个向量都可以被 \(\vec{u},\vec{w}\) 的线性组合表示出来。换句话说,在二维空间中,任意一个向量都可以表示为 \(\vec{u}\) 和 \(\vec{w}\) 的线性组合,那么这个时候就说 \(\vec{u}\) 和 \(\vec{w}\) 可以生成整个二维空间。

类似的,这个结论也可以推广到 \(n\) 维空间。若空间中的所有向量都可以被表示成 \(\vec{v_{1}},\vec{v_{2}},\vec{v_{3}},...,\vec{v_{n}}\) 的线性组合,则称:这些向量可以生成整个空间。

对于 \(n\) 维空间,至少需要 \(n\) 个向量才能够生成。但有 \(n\) 个向量未必能够生成 \(n\) 维空间,就拿二维空间为例,如果两个向量共线,那么就无法生成二维空间。

空间的基

上面我们说了,如果 \(m\) 个 \(n\) 维向量想表示 \(n\) 维空间,那么必须满足 $ m ≥ n$;如果线性无关,那么必须满足 \(m ≤ n\)。要是我希望一组向量既可以生成整个 \(n\) 维空间,并且线性无关,那么 \(m\) 必须等于 \(n\)。这是因为生成 \(n\) 维空间至少需要 \(n\) 个向量,而线性无关最多只能有 \(n\) 个向量(一旦超过 \(n\),那么就一定线性相关),所以此时只能有 \(n\) 个向量。

事实上,如果 \(n\) 个向量想表示 \(n\) 维空间,那么这 \(n\) 个向量必须是线性无关的,否则它无法表示 \(n\) 维空间。而这样的 \(n\) 个向量,我们称之为 \(n\) 维空间的一组基。

结论:\(n\) 个 \(n\) 维向量(因为空间是 \(n\) 维的,所以向量也是 \(n\) 维的)\(\vec{v_{1}},\vec{v_{2}},\vec{v_{3}},...,\vec{v_{n}}\),若它们是这个 \(n\) 维空间的基,必须满足如下条件:

  • 1)这 \(n\) 个向量能够生成整个 \(n\) 维空间;
  • 2)这 \(n\) 个向量线性无关;

当然,这两个条件如果满足任意一个,那么另一个一定满足。同时也能看出,如果一组向量可以生成 \(n\) 维空间(向量个数不小于 \(n\))、并且这组向量还线性无关(向量个数不大于 \(n\)),那么向量的个数一定为 \(n\)。

所以基本身还是很好理解的,那么一个空间中有多少个基呢?显然是无数个,以二维空间为例,只要两个向量不共线,那么它们就可以是这二维空间的一组基。此外我们之前介绍的标准单位向量也是一组基,并且还是最常见的一组基。

\(\vec{e_{1}},\vec{e_{2}}\) 是空间的基,\(\vec{u},\vec{w}\) 也是空间的基,它们都可以表示整个生成空间,所以它们具有同样的性质。换句话说,它们都可以看做是二维空间的一个坐标系,只是表达的坐标有些差异。我们以一个矩阵为例:

\(\begin{Bmatrix}4 & 2\\1 & 3\end{Bmatrix} · \begin{Bmatrix}2\\2\end{Bmatrix}\)

我们之前说矩阵可以理解为转换函数,负责对向量进行变换。如果使用基的概念来理解,那么就是使用 \((1, 0), (0, 1)\) 这组基表示的坐标点 \((2, 2)\),如果换成新的一组基 \((4, 1), (2, 3)\) 来表示,坐标是多少?

如果是以标准单位向量作为基,那么就沿着 \((1, 0)\) 走两个单位,沿着 \((0, 1)\) 走两个单位,所以点的坐标是 \((2, 2)\)。更专业的说法是 \((2, 0)\) 和 \((0, 2)\) 组成的平行四边形的对角线的终点坐标,而上面的 \((2, 2)\) 也就是这么来的。但现在基改变了,那么就变成了沿着 \((4, 1)\) 走两个单位,沿着 \((2, 3)\) 走两个单位,这里的单位就是基对应的模。所以点的坐标就变成了 \((8, 2)\) 和 \((4, 6)\) 组成的平行四边形的对角线的终点坐标。

所以这两组基具备相同的性质,它们都可以表达为一个坐标系,只不过标准单位向量之间的夹角是 90 度,并且模是 1,所以它是最常见的一组基。拓展到 \(n\) 维空间也是如此,任意给定一组基,那么任何一个向量(或者点)都可以表示成这组基的线性组合,并且表示方法是唯一的(也就是一个点不会存在两个坐标)。

以上我们就介绍了什么是空间的基,再来补充基的两个性质:

  • 如果 \(m\) 个向量可以生成 \(n\) 维空间,并且其中的一个向量可以被其它向量线性组合,那么删除这个向量后,剩下的向量仍然可以表示整个 \(n\) 维空间。这个很好理解,因为该向量可以被其它向量线性组合,所以它没有提供新的信息,所以即便将它删除,仍然可以表示 \(n\) 维空间。
  • 如果 \(m\) 个向量可以生成 \(n\) 维空间,则该组向量一定存在一个子集,是 \(n\) 维空间的一组基。举个例子,如果 \(m = n\),那么这 \(m\) 个向量显然就是空间的一组基,只不过此时的子集就是该组向量本身(不是真子集)。否则 \(m >= n\),那么根据上一个性质,我们不断删除可以被其它向量线性组合的向量,那么当向量个数等于 \(n\) 时,它就是一定是空间的基(此时是真子集)。

总之生成空间和空间的基非常重要,因为很多时候我们看待一个点的视角不一定非要放在直角坐标系中,或者说不一定要放在标准单位向量组成的坐标系中。

标签:begin,end,线性代数,线性相关,Bmatrix,线性,向量,vec
From: https://www.cnblogs.com/traditional/p/17674154.html

相关文章

  • 向量,矩阵,线性基
    向量定义既有大小又有方向的量称为向量,记作$\vec{a}$。如果这个向量还有一个起点,那么它就成为了一条有向线段。有向线段三要素:起点,方向,长度。有向线段$\overrightarrowAB$......
  • 电动车摩托车灯DC-DC降压恒流芯片AP5170支持线性调光95%高效率IC
    产品描述AP5170是一款效率高,稳定可靠的LED灯恒流驱动控制芯片,内置高精度比较器,固定关断时间控制电路,恒流驱动电路等,特别适合大功率LED恒流驱动。AP5170采用ESOP8封装,散热片内置接SW脚,通过调节外置电流检测的电阻值来设置流过LED灯的电流,支持外加电压线性调光,最大电流......
  • LED车灯驱动DC-DC降压恒流芯片大功率高效率线性调光IC摩托车电动车手电筒
    产品描述AP5174是一款效率高,稳定可靠的LED灯恒流驱动控制芯片,内置高精度比较器,固定关断时间控制电路,恒流驱动电路等,特别适合大功率LED恒流驱动。AP5174采用ESOP8封装,散热片内置接SW脚,通过调节外置电流检测的电阻值来设置流过LED灯的电流,支持外加电压线性调光,最大电流......
  • 程序员的线性代数教程!Jupyter 代码和视频可能更适合你
    红色石头的个人博客:www.redstonewill.com推荐一份适合程序员的线性代数教程,包含理论和源码。教程地址为:https://github.com/fastai/numerical-linear-algebra本教程的重点是以下问题:我们如何以可接受的速度和可接受的精度进行矩阵计算?这份教程来自于旧金山大学的分析学硕士2017暑......
  • AP51656 PWM和线性调光 LED车灯电源驱动IC 兼容替代PT4115 PT4205
    产品描述AP51656是一款连续电感电流导通模式的降压恒流源用于驱动一颗或多颗串联LED输入电压范围从5V到60V,输出电流可达1.5A。根据不同的输入电压和外部器件,可以驱动高达数十瓦的LED。内置功率开关,采用高端电流采样设置LED平均电流,通过DIM引脚可以接受模拟调光和很宽范围......
  • 《线性代数》5. 线性系统
    什么是线性系统系统这个概念有点抽象,之前学的矩阵就可以看作是一个系统,线性系统和初中学的线性方程组是比较类似的。比如:\(\begin{cases}x+2y=5\\3x+4y=6\end{cases}\)但这里的重点是线性,所谓线性就是,未知数只能是一次方项。像\(x^{2}-1=0\)、\(\sqrt{z}-4=0\)......
  • 《线性代数》4. 矩阵的高级话题
    更多的变换矩阵之前我们说矩阵可以看作是向量的函数,矩阵可以改变一个点的坐标,比如将一个点的横坐标扩大a倍,纵坐标扩大b倍,那么就可以让如下矩阵与之相乘。\(T=\begin{Bmatrix}a&0\\0&b\end{Bmatrix}\)本次就来介绍更多的变换矩阵,假设我们希望一个点沿着\(x\)轴翻转,......
  • 《线性代数》3. 矩阵,线性代数中最重要的概念
    什么是矩阵前面我们介绍了向量,它是线性代数中最基本的元素,但提到线性代数,估计更多人第一时间想到的是矩阵(Matrix)。\(\begin{Bmatrix}1&2&3&4\\5&6&7&8\\9&10&11&12\end{Bmatrix}\)如果说向量是对数的拓展,一个向量表示一组数,那么矩阵就是对向量的拓展,一......
  • 线性基与图论结合的经典问题
    立体传送门:LuoguP4151不急,一步一步来。第一种情况,考虑我们现在已经有一条\(1->n\)的路径,不妨设为\(1->i->j->k->n\),异或起来为\(dis_n\),那么我们的\(ans\)就是\(dis_n\)。第二种情况,在上种情况基础上,考虑这条路径上的\(i\)点有个环,不妨设这个环的异或起来为\(I\),那......
  • 线性同余方程+中国剩余定理
    逆元求解\(ax=b\pmodm\),其实等价于\(ax+my=b\),然后扩欧就无了。可以应用于求当是\(a,p\)互质,求\(a\)在模\(p\)意义下的逆元,方法就是求解\(ax=1\pmodp\)。中国剩余定理(CRT)问题:有\(m_1,m_2,...,m_n\),\(n\)个整数两两互质,还给定\(a_1,a_2,...,a_n\),需要我们求解一个方程组:\(......