CH 定理主要用于优化线性递推。
下面很多东西都是自己瞎琢磨的,大概错漏挺多。
线代的一些基本知识
感觉学习 CH 困难的很大一部分原因就是缺少一些线代的基础。
- 矩阵的秩 \(r(A)<n\),说明向量组线性相关,说明行列式 \(|A|=0\)。反之,如果 \(|A|\neq 0\),那么矩阵满秩。即二者充要。
证明:考虑行列式的性质即可,由于把第 \(i\) 行的线性组合加到第 \(j\) 行不影响行列式的计算结果,所以如果线性相关,那么说明可以把某一行全部消掉,那么自然不满秩。
- 对于一个 \(n\) 元齐次线性方程组 \(Ax=0\),其中 \(A\) 是一个 \(n\times n\) 的矩阵,\(x\) 是一个由未知量构成的长度为 \(n\) 的列向量。其存在非全零解的条件是系数行列式 \(|A|=0\)
证明:当 \(|A|\neq 0\) 时,矩阵满秩,感性理解一下,x 就只能是全零了。理性证明的话,考虑把 \(A\) 消成上三角矩阵之后,可以解出 \(xn=0\),进一步 \(x_{n-1}\) 也会解出是 \(0\)
- 特征值和特征向量
定义:
对于一个 \(n\) 阶方阵 \(A\) ,若非 \(0\) 列向量 \(\vec{v}\) 和 \(\lambda \in C\) 满足 \(A\vec{v} = \lambda\vec{v}\)
那么称 \(\vec{v}\) 为特征值 \(\lambda\) 的特征向量
理解:
展开式子,有
若把矩阵的每一行理解为一个基向量 \(\varepsilon_i\),则是表示基向量与该向量的内积 \((\varepsilon_i \cdot \vec{v})\)等于 \(\lambda \vec{v}\)
所以我们可以把矩阵 \(A\) 视作在 \(n\) 维空间中,对 \(\vec{v}\) 在 \(n\) 个方向上进行不同程度的拉伸,这个拉伸的过程还可能伴随着旋转,因为如若把 \(\vec{v}\) 视作基,即可以认为是掺杂了其他的基
而这个特征向量特殊的地方就在于,他真的就可以当做是基(即它是空间中的一些特殊的向量,使得 \(A\) 对这些向量施加变化的时候只有拉伸作用)
也就是说,矩阵 \(A\) 对应的 \(n\) 维空间的 \(n\) 个方向就是 \(n\) 个不同的特征向量所指的方向
此时,这个基构成 \(n\) 维空间 \(S\) ,设 \(\vec{v}\) 在空间 \(S\) 中的表示为 \(\vec{a}\) (投影??)
此时,\(\vec v\) 和 \(\vec a\) 表示的完完全全的一个向量。只是说采用的基底不同
此时,我们计算 \(A \vec a\) ,相当于对 \(\vec a\) 在 \(S\) 的各个方向上进行了不同程度的拉伸变换(没有旋转了!)。程度的不同体现在 特征值 的不同,特征向量 \(\vec v\) 对应的特征值 \(λ\) 越大,那么 矩阵 \(A\) 在 \(\vec v\) 所表示的方向上对 \(\vec a\) 的拉伸作用越明显。
具体的,\(λ > 1\), 拉伸;\(λ = 1\), 不变;\(λ < 1\), 压缩
我们知道,向量是不能做除法的,但在特征方向上,就能除了,因为在两个向量共线时,它们所有的对应分量的比值都相同,而不共线时,比值就不同,就没法除了。
或参见:所有方阵都有特征值吗?如何证明? - 天下无难课的回答 - 知乎
- 矩阵 \(A\) 在复数集内有 \(n\) 个特征值。
证明:考虑特征值的定义,对于 \(\lambda\),它是通过一个特征向量来定义的,即二者大概是 1-1 对应,所以只需要证明有 \(n\) 个特征向量。
考虑 \(\lambda x=A x\),等价于 \(|\lambda E-A|x=0\),(这是我们熟知的特征多项式的形式)即证明它有 \(n\) 个解。
所以 \(|\lambda E-A|=0\),这是上方已经证明的结论。
考虑这个行列式,它可以写成 \(\lambda\) 为未知数的一元n次方程组,而 n次方程组在复数集内一共有n个解,(如果我们观察上式,可以发现 \(\lambda\) 只出现在正对角线上,显然A的特征值就是方程组的解)同时,在对应 \(\lambda\) 的条件下,可以解出 \(x\),即特征向量。
这个结论说明了,上方所提到了 “这个基构成 \(n\) 维空间 \(S\) ”,确实是一个 \(n\) 维度的空间。
同时这个其实可以看做是 CH 定理应用逻辑的一部分。
- 特征多项式
设 \(A\) 是一个 \(k\) 阶矩阵,则其特征多项式为 \(f(x)=|x E-A|=x^{k}+c_1x^{k-1}+c_2x^{k-2}+\dots+c_k\) ,其中 \(E\) 是单位矩阵, \(c\) 是一系列系数,\(x\) 可以取很多种值,如其可以取为一个矩阵或一个数,注意当它取成一个矩阵的时候 \(f(x)\) 也是一个矩阵
特征行列式和特征多项式其实指的是一个东西。
- 两个 \(n\) 阶多项式,如果有共同的 \(n\) 个零点,那么他们对应项的系数一定相同。
其重点在于,可能两个多项式的主元并不相同,但是系数可以一致。(\(f(X)\) 和 \(f(y)\) 之类)
证明考虑回忆一下拉格朗日插值的原理之类之类。
- 特征根方程
在高中阶段,我们学习到这样一种求解线性递推数列的方法:
对于 \(k\) 阶线性递推数列 \(a_n=\sum_{i=1}^k c_i a_{n-i}\),其特征根方程是 \(x^k=\sum_{i=1}^k c_i x^{k-i}\)
有这样一个结论,假如对于这个特征根方程有 \(k\) 个不同的解,即特征根 \(\lambda_1,\lambda_2,\dots \lambda_k\) 无重根。
首先\(a_n=\lambda_i^n\) 肯定是上述递推式的解。
其次,由于是线性递推,所以在不考虑初值的情况下,它的几个解的线性组合仍然是它的解。即通解是 \(a_n=\sum_i^k \alpha_i \lambda_i^n\)
然后,只需要带入 \(a_{1\dots k}\) 的初值,就可以得到 \(k\) 个方程,并解出 \(\alpha_{1\dots k}\),于是就能得到数列 \(a_n\) 的通项公式。
扩展:注意到这里是一定可以解出这 \(k\) 个方程的,因为这个关于 \(\alpha_{1\dots k}\) 的方程的系数矩阵的行列式写出来是范德蒙德矩阵
这个技巧常常用于秒杀一类高中数列题
再扩展:假如有重根怎么办?留作思考/hsh
- 线性递推的转移矩阵的特征多项式就是特征根方程
(贺的官老师的)
假设一数列 \(h\) 满足 \(h_n (n\ge k)\) ,\(h_n = \sum_{i = 1}^ k a_i h_{n - i}\),转移矩阵 \(M\) 的特征多项式为 $f(\lambda) $。
对于 \(f(\lambda)\)
\[|\lambda E - M| = \left|\begin{bmatrix} \lambda & -1 & 0 & \cdots & 0 \\ 0 & \lambda & -1 & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & -1 \\ -a_k & -a_{k - 1} & -a_{k - 2} & \dots & \lambda-a_1 \end{bmatrix}\right| \]设 \(F_k(x) = \sum _{i = 0}^k c_{k,i} x^i\) 表示取其最后 \(k\) 行 \(k\) 列的主子式的特征多项式
考虑计算行列式 ,如若第一行选择 \(\lambda\) ,那么有贡献 \(\lambda F_{k - 1}(\lambda)\)
如若第一行选择 \(-1\) ,容易发现前 \(k-1\) 行选择的都是 \(-1\) ,最后一行会选择 \(-a_k\) ,此时逆序数 \({k-1}\) 个
所以贡献为 \((-1)^{k-1} · - a_k (-1)^{k-1}=-a_k\),即 \(c_{k,0} = -a_k\)
考虑第一种贡献方式,有 \(c_{k,i} = c_{k-1,i-1} = \dots = c_{k-i,0} = -a_{k-i}\)
所以,\(F_k(x) = x^k - \sum _{i =0}^{k-1}a_{k-i}x^i\) ,我们知道 \(F_k(x) =f(x)\)
而这个时候,如果我们对比一下 \(f\) 和我们的特征根方程,很容易发现他们是一样的!!!
那么进一步的,实际上,如果我们求出了特征多项式,那么我们实际上就获得了线性递推式。(这可能听起来有点鸡肋,我既然已经知道特征多项式,怎么会不知道原递推式呢?但是在下方的例题中展现出了威力)
Cayley-Hamilton定理
下面的等式在方阵 \(A\) 满秩时恒成立:
\[\prod_k(\lambda_k E-A)=0 \]其中 \(\lambda_k\) 是 \(A\) 的第 \(k\) 个特征值。
魔法地,注意到 \(G(A)=\prod_k(\lambda_k E-A)\) 和 \(f(\lambda)=|\lambda E-A|\) 的零点相同(\(\lambda_{1\dots k}\)),项数也相同,虽然说主元不一样,但是对应的多项式系数就是一样的。(上方基础知识里面讲过)
所以我们可以把上面的定理等价成为 \(f(A)=\mathcal{O}\)
加速矩阵快速幂
比如,我们要求 \(M ^n\) ,\(M\) 是一个 \(k\times k\) 的矩阵,平凡的,我们的复杂度是 \(k^3\log n\) ,但是当 \(k\) 比较大的时候会被卡掉。这里有一种优化到 \(O(k^3)-O(k\log k\log n)\) 的方法
具体地,我们可以采用 这篇博客 中的方法先 \(O(k^3)\) 求出 \(M\) 的特征多项式 \(f(\lambda) =|\lambda E-M|\)
由于 \(f(M) = 0\) ,所以 \(M^n = M^n \bmod {f(M)}\)
设 \(g(x) = x^n\) , \(g(x) = h(x)f(x)+r(x)\) ,由于 \(f(x)=0\),所以 \(g(x) = r(x)\)
此时,我们完成了这样的一件事情:将矩阵的幂化成多项式的取模幂
即,设 \(\lambda ^n \bmod f(\lambda) = \sum _{i = 0}^{k - 1} a_i \lambda^{i}\) ,将 \(\lambda = M\) 带入,需要计算 \(\sum_{i = 0}^{k - 1}a_i M^{i}\)
所以,我们考虑平时做模意义下整数快速幂的方法,将整数乘法换成多项式乘法,整数取模换成多项式取模,就可以得到 \(a_i\) ,这部分的复杂度是 暴力乘模 \(O(k^2 log n)\) / NTT \(O(k\log k\log n)\)
最后需要带入 \(M^{i = 0\dots k -1}\) ,可以考虑直接 \(O(k^4)\) 爆算,在齐次线性递推的背景下,就是初值的意思
加速线性递推
我们想要求出 \(h_n (n\ge k)\) ,\(h_n = \sum_{i = 1}^ k a_i h_{n - i}\)
设这个转移矩阵 \(M\) 的特征多项式为 $f(\lambda) $ ,\(g(\lambda) = \lambda^n\)
设初值为列向量 \(B\) ,第 \(i\) 行为 \(h_{i - 1}\) ,即求 \(BM^n[0]\)
根据上方讲过的知识,我们可以知道 \(f(x) = x^k - \sum _{i =0}^{k-1}a_{k-i}x^i\)
求解出 \(f\) 之后,我们只需要求解 \(g(x) \bmod f(x)\) ,得到 \((g \mod f)(x)=\sum n_i x^i\)
回到原问题,我们求解的是 \(BM^n[0] = \sum_{i = 0}^{k-1} n_iBM^i[0]\) ,又有 \(BM^{i}[0]=h_i (i<k)\)
好活,这样的话,我们一旦知道 \(h_{0\dots k-1}\) 那么就可以知道 \(BM^n[0]\) ,若想要知道 \(BM\) 这个列向量的所有值,我们也只需要知道 \(h_{0\dots 2k-1}\)
若只求单个元素,总时间复杂度是求 \(M^n\) 时的 \(O(k^2logn)/O(klogklogn)\)。
若要求整个列向量,要么直接用 \(∑_{i=0}^{k^1}n_iBM^i\) 这个式子暴力矩阵乘法,时间复杂度 \(O(k^2\log n+k^3)\),比直接矩阵快速幂少个 \(\log\) 或者 \(k\),且这样我们就只需要知道 \(h_0,h_1,\dots,h_{k?1}\);
要么挨个元素去算,时间复杂度 \(O(k^3logn)/O(k^2logklogn)\)。可以发现不用 \(NTT\) 和 \(k \log k\) 取模的时间和普通矩快一样,用了的则是把 \(k\) 变成了 \(\log k\)
——gtr
多项式取模——听起来一个很奇怪的操作,凭啥会突然想到干这样一件事情呢?
考察我们如何求 \(fib_n\),\(fib_i=fib_{i-1}+fib_{i-2}\)
OI 的方法是,把转移矩阵搞出来,然后搞矩阵 \(n\) 次幂啥的。
小学的方法是暴力拆,例如对于 \(n=5\):\(fib_5=fib_4+fib_3=2fib_3+fib_2=3fib_2+2fib_1=5fib_1+3fib_0\)
考察这个过程,其实就是每次找到等式中最大的一项,然后根据递推式把它变成更小的项。
上述过程,就是通过每次消去最高次项,求 \(x^5\) 对斐波那契数列的特征多项式 \(x^2-x-1\) 取模的结果的过程
特征多项式,也就是特征根方程,每次我们其实是将一个 \(x^{2}\) 代换为 \(x+1\),其实也就是 减去 \((x^2-x-1)\) 的若干倍,那么为了代换到底,这个若干倍要尽可能抵到顶,那么实际上做的就是取模。
即,「多项式取模」的过程恰好与「每次按递推式展开下标最大的那项」的过程一致,都可以用「替换」来解读。所以我们直接对 \(x^n\) 做多项式取模,就可以得到 \(a_n=\sum_{i=1}^k c_ia_i\) 这类形式。
例 1 「BZOJ4161」Shlw loves matrixI
模版题
#include <bits/stdc++.h>
using namespace std;
const int N = 4444;
const int mod = 1e9 + 7;
char buf[1 << 23], *p1 = buf, *p2 = buf;
#define getchar() (p1 == p2 && (p2 = (p1 = buf) + fread(buf, 1, 1 << 21, stdin), p1 == p2) ? EOF : * p1 ++)
int read() {
int s = 0, w = 1; char ch = getchar();
while(!isdigit(ch)) {
if(ch == '-') w = -1;
ch = getchar();
}
while(isdigit(ch)) {
s = s * 10 + (ch ^ 48),
ch = getchar();
}
return s * w;
}
void inc(int& a, int b) { a = a >= mod - b ? a - mod + b : a + b; }
void dec(int& a, int b) { a = a >= b ? a - b : a + mod - b; }
int add(int a, int b) { return a >= mod - b ? a - mod + b : a + b; }
int del(int a, int b) { return a >= b ? a - b : a + mod - b; }
int mul(int a, int b) { return 1ll * a * b % mod; }
struct vec {
int a[N];
void clear() {
memset(a, 0, sizeof(a));
}
}a, b, P, e;
int n, k, ans;
vec mul(vec a, vec b, vec P) {
vec ans; ans.clear();
for(int i = 0; i <= k; ++ i)
for(int j = 0; j <= k; ++ j)
inc(ans.a[i + j], mul(a.a[i], b.a[j]));
for(int i = k << 1; i >= k; -- i) if(ans.a[i])
for(int j = 0, tmp = ans.a[i]; j <= k; ++ j)
dec(ans.a[i - j], mul(tmp, P.a[k - j]));
return ans;
}
vec exp(vec a, int b, vec P) {
vec ans = e;
while(b) {
if(b & 1) ans = mul(ans, a, P);
a = mul(a, a, P), b >>= 1;
}
return ans;
}
signed main() {
e.a[0] = 1;
n = read(), k = read();
for(int i = 1; i <= k; ++ i)
a.a[i] = read(), P.a[k - i] = del(0, a.a[i]);
for(int i = 1; i <= k; ++ i)
b.a[i - 1] = (read() + mod) % mod;
P.a[k] = 1, a.clear(), a.a[1] = 1;
a = exp(a, n, P);
for(int i = 0; i < k; ++ i)
inc(ans, mul(b.a[i], a.a[i]));
printf("%d\n", ans);
return 0;
}
例 2 20240122 序列(sequence)
首先经过一通分析,可以得到这样的 DP 柿子:
\[f_{i,j} = f_{i-1,j-1}+(2j+1)f_{i-1,j}+(j+1)^2f_{i-1,j+1}, j\le k \]初值 \(f_{0,0}=1\),求 \(f_{n,0}\)
考虑这个咋做。
solution1(std):
如果将 \(f_i\) 这个向量看做一个整体,那么可以写出一个 \(k\times k\) 的转移矩阵 \(M\)(这也许可以叫做一阶线性递推把)
仔细观察转移式子,可以感性理解到对于每一个 \(j\) 而言,\(F_j(i)\) 是一个最高 \(k+1\) 阶线性递推序列(因为状态之间转移的时候没有对状态本身的平方,即类似 \(f^2\) 的项,所以都是线性关系)
考虑抽出 \(F_0(i)\) 来看,而把其他都看成是辅助数组,即把 \(F_{j\neq 0}(i)\) 的位置都看成是由 \(F_0\) 中的某些项线性组合得到的东西。
那么,这个时候,我们的转移矩阵 \(M\) 也可以理解是,\(F_0(i)\) 本身的线性递推转移矩阵 经过非常复杂的线性变化得到的。
那么,根据之前的结论,只需要求 \(M\) 的特征多项式(根据 Cayley-Hamilton 定理,\(M\) 的特征多项式 \(f(M)=0\)),就可以得到 \(F_0(i)\) 的递推公式了。
非常厉害吧!
考察特征多项式:
设 \(n+1\) 阶上述多项式是 \(d_n\)
若最后一行取右下角,那么 \((2n+1-x)d_{n-1}\)
若最后一行取 \(n^2\),那么倒数第二行只能取 \(1\),有 \(n^2d_{n-2}\)
所以有递推关系 \(d_n=(2n+1-x)d_{n-1}+n^2d_{n-2}\)
其对应的递推矩阵:
\[[d_n,d_{n-1}]=[d_{n-1},d_{n-2}] \begin{bmatrix} &2n+1-x,&1\\ &-n^2,&0\\ \end{bmatrix} \]设 \(M_n=\begin{bmatrix} &2n+1-x,&1\\ &-n^2,&0\\ \end{bmatrix}\),那么 \(d_n=[0][0]\prod_{i=0}^n M_i\)
现在需要干的事情就是把 \(\prod_{i=0}^k M_i\) 处理出来,其得到的结果矩阵 \(res\) 的第一行第一列就是我们要的特征多项式 \(f\)
为了避免多项式次数不平衡,这个的方法是考虑分治处理,复杂度 \(T(k)=2T(k/2)+k\log k=k\log^2 k\)
获得多项式 \(f\) 之后,可以直接套 \(x^n\) 取模的方法解决。但是为了复杂度,需要写一长串的多项式除法之类,非常麻烦,有一种小清新的算法是 波斯坦-茉莉算法。
solution2(jsy):
非常 powerful,注意到既然 \(F_0(i)\) 是线性递推数列,且 \(F_{j\neq 0}\) 其实都是 \(F_0\) 的一种线性组合。那么不妨尝试直接通过递推关系把 \(F_0\) 解出来。
知 \(F_j(x)=\sum_{i>0} f_{i,j}x^i\),由 DP 式子可以得到:
\[F_k(x)=xF_{k-1}(x)+(2k+1)xF_k(x)\\ \vdots\\ F_j(x)=xF_{j-1}(x)+(2j+1)xF_j(x)+(j+1)^2 xF_{j+1}(x)\\ \vdots\\ F_0(x)=xF_0(x)+xF_1(x)+1 \]\(F_k\) 可以表达为 \(\dfrac{P_k(x)}{Q_k(x)} F_{k-1}\) 的样子。具体的,\(F_k=\dfrac{x}{1-x(2k+1)}F_{k-1}\)
那么进一步,将 \(F_{i}=\dfrac{P_i(x)}{Q_i(x)} F_{i-1}\) 带入 \(F_{i-1}(x)\) 的式子里面,可以得到 \(P_{i-1}\) 和 \(Q_{i-1}\)
代入的过程中肯定没有 \(P\) 和 \(Q\) 相互的乘除,分子分母在代入下一个方程后会变成原来的分子分母的(类似)线性组合,肯定能拿矩阵来转移.(类似于树上主元法的时候的操作过程)
具体的:
\[[P_{i+1},Q_{i+1}] \begin{bmatrix} &1-(2i+1)x,&x\\ &-(i+1)^2x,&0\\ \end{bmatrix} =[P_i,Q_i] \]把中间的矩阵和 solution1 一样分治乘起来,就可以通过 \(P_k,Q_k\) 得到 \(P_1,Q_1\)。
那么这样就可以直接解 \(F_0\) 了,带进去会是一个求 \([x^n]\dfrac{P(x)}{Q(x)}\) 的形式,其中 \(deg(P)=k,deg(Q)=k+1\),完美符合 波斯坦-茉莉 算法的要求,那么其实也可以通过 波-茉 的思路,把实际的递推式搞出来。
波斯坦-茉莉算法
正经的讲解 波斯坦-茉莉算法
时间关系,这里只记录一个关键的关系。
注意到对于给定一个线性递推 \(a_i=\sum_{j=1}^d c_ja_{i-j}\) 之后,对于 \(Q(x)\) 的构造是 \(Q(x)=1-\sum_{i=1}^d c_ix^i\)
和特征多项式/特征根方程进行对比,发现多项式 \(Q_R\) 就是特征多项式。
标签:Cayley,int,多项式,矩阵,笔记,Hamilton,vec,递推,lambda From: https://www.cnblogs.com/wyb-sen/p/17987321