在推断性统计中,我们需要从样本中加工提取其反映总体的信息,这就需用到统计量,发挥统计量的作用。这就提出了一个问题,什么样的统计量能达成我们的述求,能完美地提取出总体的规律性的特征。回答这个问题就是理解衡量统计量优劣的几个标准,从大的方面说要求是充分统计量,从小的方面收要求满足无偏性、有效性和一致性,本文将展开该方面的讨论。
一、充分统计量
对参数进行估计,要使用从样本加工而来的统计量,这是一种对样本的信息提取。但我们知道,加工在简化信息结构的同时,肯定也丢失了一部分信息。要如何加工样本,才能尽可能多地删掉无用信息,保留尽可能多的有效信息——或者更进一步地,保留全部的有效信息呢?这需要我们对有效和无效作出定义上的区分。
众所周知,信息是有效的还是无效的,取决于我们要使用信息来做什么。比如说想判断第二天的气温来看看应该穿什么衣服,那么“明天会下雨”这个信息就是有效的,而“奥运会将在2021年开”这个信息就无效了。现在我们想要使用信息来对参数作估计,拥有的全部信息就是样本观测,要保留全部的有效信息,必须将样本按一定方式加工成统计量。
充分统计量:对于统计量\(T=T(\boldsymbol{X})\),如果在已知\(T\)的条件下样本\(\boldsymbol{X}\)的条件分布与待估参数\(\theta\)无关,则称\(T(\boldsymbol{X})\)是\(\theta\)的充分统计量。
这也就是说,如果给定了\(T\),则\(\boldsymbol{X}|T\)的联合分布(联合密度)中甚至不含有\(\theta\),自然不包含\(\theta\)的任何信息,因此在给定\(T\)的情况下再关注\(\boldsymbol{X}\)是没有必要的。这就是充分性的由来。
对于\(T=T(\boldsymbol{X})\)这种记法应该不至于太陌生。事实上这里左右两边的\(T\)代表不一样的意思,右边的\(T\)是一个\(n\)元函数\(T(x_1,\cdots,x_n)\),而\(\boldsymbol{X}=(X_1,\cdots,X_n)\)就是它的取值,因此\(T(\boldsymbol{X})\)代表了一个样本的函数,也就是一个统计量,这个统计量用\(T\)表示。
直观上理解,充分统计量就是能概括样本中的所有信息的统计量。当然,我更喜欢以这样的方式去理解充分统计量:知道了充分统计量后与知道所有样本对推断未知参数的效果相同。
一个现实中的例子就是星座与性格的关系。性格肯定是一个随机变量,它的分布取决于太多的因素,比如家庭、生长的地域、受的教育、还有生理等诸多因素。但莫明其妙的是,在很多情况下,这么多因素的信息居然浓缩在“星座”这一个信息里。比如,你想判断一个人的性格,你可以问他或她是什么星座的,给定星座的情况下,你对他/她性格的“分布”会有一个估计。很多情况下,你还可以加上血型这样一个统计量,估计会更精确点。但匪夷所思的是,有人还再加上“生肖”这样一个中国特有的“统计量”,再对各星座的性格做出统计判断。
二、评价统计量的三个标准
参数估计是用样本统计量作为总体参数的估计。对于一个未知参数,可以构造很多个统计量去估计它,究竟什么样的统计量是优良估计量,主要有以下评价标准:无偏性、有效性和一致性。
2.1无偏性
无偏性指的是样本指标的平均数等于被估计的总体参数,即估计量\(\hat{\theta}\)的数学期望等于待估参数的真值\(\theta\)。一个参数的估计量常不止一个。常用的评价标准有多个,如无偏性、有效性和一致性。
设\(\widehat{\theta}(x_1,x_2,...,x_n)\)是参数 \(\theta\) 的一个估计,若对于参数空间\(\Theta=\{\theta\}\) 中的任一个$\theta $都有
\[E(\widehat{\theta})=\theta 对∀\theta∈{\Theta} \]则称\(\widehat{\theta}\)为\(\theta\)的无偏估计,否则称为\(\theta\)的有偏估计。
由于样本的随机性,这种偏差时大时小,时正时负,而把这些偏差平均起来其值为\(\theta\),所以无偏是指无系统偏差。 若一个估计不具有无偏性,估计均值$E(\hat{\theta }) $与参数真值 \(\theta\)总有一定距离,这个距离就是系统偏差。这就是有偏估计的缺点。在随机抽样中,有时会抽到偏小的单位,有时会抽到偏大的单位,在无偏估计的情况下,这种误差没有系统性方向,随着样本的增加,这有大有小的误差会相互抵消,因此无偏估计量是指没有系统性误差。有偏估计量则不同,它的误差不会随着样本的增大而消失,而是具有一定的方向,会产生系统性误差。
2.2有效性
有效性也称为最小方差性,指的是估计量在所有无偏估计量中具有最小方差。对同一总体参数的两个无偏点估计量,有更小方差的估计量更有效。
设\(\hat\theta_{1}\)与\(\hat\theta_{2}\)为参数\(\theta\)的两个无偏估计量,若\(Var\hat\theta_{1} < Var\hat \theta_{2}\),则称\(\hat\theta_{1}\)比\(\hat\theta_{2}\)更有效。
2.3一致性(相合性)
一致性指的是随着样本量的增大,统计量的值越来越接近被估计的总体参数。估计量 \(\hat\theta\) 与 \(\theta\)的真值任意接近的概率趋于1,它反映了估计量的一种大样本性质。
设 \(\hat\theta ({X_1},{X_2},...,{X_n})\)为参数\(\theta\)的估计量,若 \(\hat\theta\)依概率收敛于\(\theta\),则称\(\hat \theta\)为\(\theta\)的一致估计量,即
\[\\limit_{n\to\infty } P(| {\hat\theta - \theta }| >\varepsilon ) = 0 \]如果一个统计量是一个一致估计量,那么样本容量越大,代表性就越好,估计的可靠性就越高;如果不是一致估计量,增大样本容量不会提高其代表性。
总结
参考文献
数理统计3:充分统计量,因子分解定理,点估计的评判标准
评价参数估计的常用指标有哪些?