一：fisher 信息量和有效估计量
已知总体为包含未知参数的随机变量,密度函数为 \(f(x,\theta)\).
Fisher 信息量为样本携带参数 \(\theta\) 的信息.
对信息量做以下三条假设:
1:信息量随样本数量增加等量递增：\(ln\prod f(x_i,\theta)=\sum ln f(x_i,\theta)\).
2:密度函数 \(f(x,\theta)\) 关于参数 \(\theta\) 变化的速度表示信息多少: \(\frac{\partial lnf(x,\theta)}{\partial \theta}\)
3:信息量 \(\geq 0\), 且综合考虑分布总体: \(I(\theta)=E_{\theta}[(\frac{\partial lnf(x,\theta)}{\partial \theta})^2]\)
记 \(V=\frac{\partial ln f(x,\theta)}{\partial \theta} \Rightarrow E_{\theta}(V)=0\) 称为得分函数. \(I(\theta)=E_{\theta}(V^2)\).
设 \(T\) 是一个 \(\theta\) 的无偏估计：
$E((V-EV)(T-ET))^2\leq E(V-EV)^2\cdot E(T-ET)^2 $
\(1=E(VT)^2\leq D(V)\cdot D(T)\)
\(\Rightarrow D(T)\geq \frac{1}{D(V)}=\frac{1}{I(\theta)}\)
等号成立 \(\longleftrightarrow\) \(\frac{\partial ln f(x,\theta)}{\partial \theta}=C(\theta)(T-\theta)\) 达到下界记为有效估计量.
二：充分统计量
1: 说明：统计量是对样本信息进行压缩, 希望压缩不损失信息
\(\cdot\) 样本信息：\(I_1(\theta)=E_\theta(\frac{\partial ln f(x,\theta)}{\partial \theta})^2\)
\(\cdot\) 统计量信息：\(I_2(\theta)=E_{\theta}(\frac{\partial ln g(T,\theta)}{\partial \theta})^2\)
2: 设 T为充分统计量: \(\frac{\partial ln f(x,\theta)}{\partial \theta}=\frac{\partial ln f(x,T,\theta)}{\partial \theta}=\frac{\partial ln f(x,\theta|T)\cdot g(T)}{\partial \theta}=\frac{\partial ln f(x|T)}{\partial \theta}+\frac{\partial ln g(T)}{\partial \theta}\)
\(\Rightarrow \frac{\partial ln f(x|T)}{\partial \theta}=0, f(x|T) 与 \theta\) 无关\(\rightarrow\) 充分统计量的定义.
\(\cdot\) 解释起来就是样本包含的信息和统计量包含的信息一样多.
三：完备统计量
1:说明：不包含除了参数以外的随机信息
\(\cdot\) 函数族：\({f(x,\theta)}\)
\(\cdot\) 完备函数族：\(\forall g(x): E_\theta(g(x))=0 \Rightarrow P(g(x)=0)=1\) (无随机信息)
类似向量空间一组基的理解 \(a_1,\cdots a_n\) 是一组基, 若 \(a \cdot a_i=0 \forall i \Rightarrow a=0\)
\(\cdot\) 样本分布函数族: \(f(x_1\cdots x_n,\theta)=\prod f(x_1,\theta)\cdots f(x_n,\theta)\) 不完备 ：\(E(x_1-x_2)=0\)
\(\cdot\) 均值为 0 的正态分布族 \(f(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}\) 不完备：
设 \(g(x)\)为奇函数: E(g(x))=0
3:完备统计量：\(\{g(T,\theta)\}\) 是完备分布族
\(\cdot\) \(E_\theta(h(T))=0\rightarrow P(h(T)=0)=1\)
\(\cdot\) 若充分统计量不完备：$\exists h_1(T)\neq 0 $, \(E(h_1(T))=0\), 即 \(T+h_1(T)\) 也包含全部信息, 信息冗余.