标签：mathbf 05 sigma 多元 beta epsilon 线性 hat

第5章多元线性回归

5.1 二元线性回归

案例说明

Cobb-Dougls生成函数：

\[y_i=\alpha k_i^{\beta}l_i^{\gamma}e^{\epsilon_i} \]

两边同时取对数，可转换为线性模型：

\[\ln y_i=\ln \alpha +\beta\ln k_i +\gamma \ln l_i + \epsilon_i \]

这就是二元线性回归模型。

代码实现

[[Chapter_05.ipynb]]

5.2 多元线性回归模型

多元线性回归模型：$$y_i=\beta_1x_{i1}+\beta_2x_{i2}+\dots+\beta_Kx_{iK}+\epsilon_i \quad (i=1，\dots，n)$$
使用矩阵表示：$$y \equiv X\beta+\epsilon$$
其中：$$\mathbf X \equiv \begin{pmatrix}
1& x_{12}& \cdots & x_{1K}\
1& x_{22}& \cdots & x_{2K}\
\vdots&\vdots&\ddots&\vdots\
1& x_{n2}& \cdots & x_{nK}\
\end{pmatrix}_{n \times K}$$
$x_{i1}=1$，即可转化为常数项。

5.3 OLS估计量的推导

使用矩阵表示多元线性回归模型简洁明了。

目标函数：$$\min_{\hat \beta_1,\dots,\hat \beta_k} \sum_{i=1}^n e_i^2= \sum_{i=1}^n(y_i-\hat\beta_1-\hat\beta_2x_{i2}-\hat\beta_3x_{i3}-\dots-\hat\beta_K x_{iK})^2$$

找到$(\hat \beta_1,\hat \beta_2,\dots,\hat \beta_K)$使残差平方和（SSR）最小。

分别求偏导，得到正规方程组：$$\mathbf X' \mathbf e=0$$

残差向量 $\mathbf e \equiv (e_1 \quad e_2 \dots e_n)'$ 与每个解释变量均正交。
将 $\mathbf e$ 表示为：$$\mathbf e = \mathbf y -\mathbf X \hat \beta$$
带入正规方程组，求解OLS估计量为：$$\hat \beta \equiv (\mathbf X’ \mathbf X)^{-1}\mathbf X'y$$

5.4 OLS的几何解释

正交性

被解释变量 $y_i$ 的拟合值（fitted value）/预测值（predicted value）为 $\hat y_i$ ，有：$$\hat y_i \equiv \hat\beta_1+\hat\beta_2x_{i2}+\hat\beta_3x_{i3}+\dots+\hat\beta_Kx_{iK} \quad (i=1,\dots,n)$$
用列向量表示所有个体的拟合值为$\hat y$：$$\mathbf {\hat y} \equiv \mathbf X \mathbf {\hat \beta} $$
拟合值向量与残差向量正交：$$\mathbf {\hat y}'e=(\mathbf X \mathbf {\hat \beta})'e=\mathbf{\hat \beta}'\mathbf X 'e=0$$

线性投影

因为$\mathbf e=\mathbf y- \mathbf X \mathbf{\hat \beta}=\mathbf y - \mathbf {\hat y}$，故：$$\mathbf y = \mathbf {\hat y}+\mathbf e$$

拟合值 $\hat y$ 是被解释变量 $y$ 向解释变量超平面 $X$ 的线性投影（Linear projection）
残差 $e$ 则是从投影处，垂直于X超平面指向 $y$ 的直线
![[5-4OLS的几何解释_投影.png]]

5.5 拟合优度

拟合优度在 $[0，1]$ 之间

通过增加解释变量数和优化新增解释变量（以及已有解释变量）的系数，都可以提高$R^2$。因此，引入校正拟合优度来对解释变量过多（模型不够简洁）进行惩罚。

定义
校正拟合优度 $\overline R^2$ (Adjusted $R^2$) 为：

\[\overline R^2 \equiv 1 - \frac{\frac{1}{n-K}\sum_{i=1}^ne_i^2}{\frac{1}{n-1}\sum_{i=1}^n(y_i-\overline y)^2} \]

$\sum_{i=1}^ne_i^2$的自由度（degree of freedom）n-K：n个变量受K个正规方程约束
$\sum_{i=1}^n(y_i-\overline y)^2$的自由度（n-1）

缺点：可能是负值

5.6 古典线性回归模型的假定

假定 5.1 线性假定（Linearity）

线性假定的本质是：回归函数是参数的线性函数
如果变量的边际效用不是常数，可考虑加入平方项
假定 5.2 严格外生性（Strict exogeneity）
解释变量和被解释变量相互独立
假定 5.2 不存在严格多重共线性（strict multicolinearity）
解释变量之间是独立的

title:矩阵的秩（Rank）
矩阵的秩（Rank）是指矩阵中线性无关的行或列的最大数目。当一个矩阵是满秩的，意味着它的秩等于它的行数或列数中的较小者。

具体来说，对于一个 $( m \times n)$ 的矩阵 $( A )$，如果矩阵$( A )$ 的所有$ ( m ) $行（或者所有 $( n )$ 列）都是线性无关的，那么我们就说这个矩阵是满秩的。对于方阵（即行数和列数相等的矩阵），满秩意味着该矩阵是可逆的，也就是说存在一个逆矩阵$A^{-1}$ 使得 $(AA^{-1} = A^{-1}A = I)$ ，其中 \( I \) 是单位矩阵。

在统计学中，如果一个数据矩阵是满秩的，那么可以通过最小二乘法来估计回归模型的参数。

总结一下，矩阵满秩意味着矩阵中的行向量或列向量都是线性无关的，这通常与系统的可解性、系统的控制性和数据的估计能力等重要性质相关联。

5.7 OLS的小样本性质

OLS估计量 $\hat \beta$ 是样本数据的函数，也是随机变量，其分布函数为抽样分布(sampling ditribution)。
古典线性回归模型假定下，OLS估计量有如下性质：

（1）线性性

OLS估计量 $\hat \beta$ 可视为 $y$ 的线性组合，将 $(\mathbf X’ \mathbf X)^{-1}\mathbf X'$ 视为系数矩阵，故是线性估计量。

（2）无偏性

$\hat \beta$ 不会系统地高估或低估 $\beta$，$E(\hat \beta|X)=\beta$

证明：$$\begin{equation}\begin{split}
\hat \beta - \beta&= (X'X)^{-1}X'y-\beta\
&=(X'X)^{-1}X'(X\beta+\epsilon)-\beta\
&=\beta-\beta+(X'X)^{-1}X'\epsilon\
&=(X'X)^{-1}X'\epsilon
\end{split}\end{equation}$$
定义 $A \equiv (X'X)^{-1}X'$，上式两边对X求条件期望得 $E(\hat \beta|X)=\beta$
进一步还可以得到：$E(\hat \beta)=E_XE(\hat \beta|X)=E_X(\beta)=\beta$

（3）估计量 $\hat \beta$ 的协方差矩阵

假定 5.4 球形扰动项$Var(\epsilon | X)= \sigma^2 \mathbf I_n$，即扰动项满足同方差和无自相关性，其中：$$Var(\epsilon | X)= \sigma^2 \mathbf I_n=\begin{pmatrix}\sigma^2 \quad 0 \quad \dots \quad0 \
0 \quad \sigma^2 \quad \dots \quad 0 \ \vdots \quad \vdots \quad \ddots \quad \vdots \ 0 \quad 0 \quad \dots \quad \sigma^2\end{pmatrix}$$

定义
条件同方差(Conditional homoskedasticity)：主对角线元素均相同
条件异方差(Conditional Heterskedasticity)：主对角线元素不完全相同
自相关(autocorrelation / series correlation)：非对角线元素不全为0

则有：

\[Var(\hat \beta|X)=\sigma^2(X'X)^{-1} \]

引入球形扰动项的好处：

证明上式的必要条件
OLS在某种范围内是最有效的估计量

（4）高斯-马尔可夫定理(Gauss-Markov Theorem)

定理高斯-马尔可夫定理(Gauss-Markov Theorem)
在假定5.1-5.4均成立时，最小二乘法是最佳线性物品估计(Best Linear Unbiased Estimator, BLUE)。

在所有的线性的无偏估计中，最小二乘法的方差最小。

（5）对扰动项方差的无偏估计

扰动项方差 $\sigma^2 = Var(\epsilon_i)$ 可由回归方程的标准误的二次方来无偏估计。

扰动项$\epsilon_i$ 不可观测，将残差 $e_i$ 视为其实现值，可以得到$\sigma^2$的无偏估计：$$s^2 \equiv \frac{1}{n-K}\sum_{i=1}^n e_i^2$$

定义回归方程的标准误
$s=\sqrt {s^2}$ 为回归方程的标准误差(standard error of the regression)，简称回归方程的标准误。用来衡量回归方程扰动项的波动幅度。

因此，OLS估计量 $\hat \beta$ 的协方差矩阵可以用 $s^2(X'X)^{-1}$来估计。

定义估计量的标准误
$\sqrt{s^2(X'X)_{kk}^{-1}}$ 为OLS估计量 $\hat \beta_k$ 的标准误差，简称标准误，记为$SE(\hat \beta_k)$，即

\[SE(\hat \beta_k) \equiv \sqrt{s^2(X'X)_{kk}^{-1}} \]

更一般地，称对某统计量的标准差的估计值(estimated standard deviation)为该统计值的标准误，作为对统计量估计误差的度量。

通常，在得到参数的点估计之后，还须给出相应的标准误，才能知道此点估计的准确程度。

5.8 对单个系数的t检验

检验单个系数是否有效，而不是显著，显著=落入拒绝域

（1）计量经济学中的统计推断

检验方法

假定 5.5 在给定X的情况下，$\epsilon|X$的条件分布为正态分布，即$\epsilon|X \sim N(0, \sigma^2 \mathbf I_n)$。

考虑最简单的假设检验(hypothesized testing)，对单个回归系数$\beta_k$进行检验。

原假设$H_0$：$\beta_k = c$
备择假设$H_1$：$\beta_k \ne c$

定义
假想值(hypothesized value)： c，为给定常数
双边替代假设(two-sided alternative hypothesis)：假设的情况即可能是$\beta_k \lt c$，也可能是$\beta_k \gt c$。
双边检验(two-sided test)：假设为双边替代假设的检验。拒绝域分布在两边。
沃尔德检验(Wald test)：直观地，如果未知参数 $\beta_k$ 离 c 较远，更倾向于拒绝原假设。

那么，根据假定 5.5，且 $\hat \beta - \beta=(X'X)^{-1}X'\epsilon = \mathbf A \mathbf \epsilon$ 是 $\epsilon$ 的线性函数。所以$$(\hat \beta - \beta)|X \sim N(0, \sigma^2 (X'X)^{-1})$$
单独只考虑其中一个分量，有：

\[(\hat \beta_k - \beta_k)|X \sim N(0, \sigma^2 (X'X)_{kk}^{-1}) \]

如果原假设 $\beta_k = c$ 成立，有：

\[(\hat \beta_k - c)|X \sim N(0, \sigma^2 (X'X)_{kk}^{-1}) \]

如果 $\sigma^2$ 已知，通过标准化的统计量服从标准正态分布$$z_k \equiv \frac{\hat \beta_k - c}{\sqrt{\sigma^2 (X'X)_{kk}^{-1}}} \sim N(0,1)$$

定义厌恶参数
通常 $\sigma^2$ 是未知的，虽然我们对 $\sigma^2$ 不感兴趣，但是它却出现在表达式里面，所以被称为厌恶参数（nuisance parameter）。

合格的检验统计量（test statistic）,必须满足两个条件：

能够根据样本数据计算出来
它的概率分布已知
用估计量$s^2$来替代 $\sigma^2$ 就可以得到 t 统计量(t-statistic)：$$t \equiv \frac{估计量-假想值}{估计量的标准误} $$
t 统计量度量估计量（$\hat \beta_k$）距离假想值（c）的距离，并以估计量的标准误（$SE(\hat \beta_k)$）作为距离的度量单位，即距离为 t 个标准误。

（2）t 检验

定理 t-统计量的概率分布
在假定 5.1-5.5均满足的情况下，且原假设“$H_0$：$\beta_k = c$”也成立，t统计量服从自由度为（n-K）的t分布：$$t_k \equiv \frac{\hat \beta_k - c}{SE(\hat \beta_k) } \sim t (n-K)$$

1. t 检验的步骤

第一步：计算 t 统计量，记为$t_k$。
- 若原假设成立，$|t_k|$大概率很小
- 若备择假设成立，$|t_k|$很大
第二步：计算显著性水平为 $\alpha$ 的临界值 $t_{\alpha/2} (n-K)$，其中$$P{T \gt t_{\alpha/2} (n-K)} = P{T \lt -t_{\alpha/2} (n-K)} = \frac{\alpha}{2}$$
- 通常取 $\alpha=5\%$
第三步：如果 $|t_k| \ge t_{\alpha/2} (n-K)$，则落入拒绝域（reject region），拒绝原假设$H_0$；反之，落入接受域，接受原假设$H_0$。

2.计算p值

假设检验的逻辑是，如果一次抽样中发生了小概率事件，则拒绝原假设。小到何种程度，用p值来衡量。在t检验中，p值(p-value)：

\[p-value = P(|T| >|t_k|) \]

定义 p值
称原假设可被拒绝的最小显著性水平为此假设检验问题的p值。

p值的优势：

比临界值更有信息量
操作简便，直接与显著性水平比较，直观。

3.计算置信区间

有时还需要做区间估计，即参数取值的范围。

定义置信区间
假设置信度（confidence level）为$(1-\alpha)$，置信区间就是使该区间覆盖真实参数的概率为$(1-\alpha)$的取值范围。

t统计量的置信区间：$$[\hat \beta_k-t_{\alpha/2}SE(\hat \beta_k),\hat \beta_k+t_{\alpha/2}SE(\hat \beta_k)]$$

标准误越大，置信区间越宽，对参数 $\hat \beta_k$ 的估计越不精确
置信区间是随机区间，随样本不同而不同

4.单边检验

有时也需要进行单边检验。
拒绝域只在概率分布的左侧或右侧。

5.两类错误

在假设检验时，可能犯下两类错误：

定义第 $I$ 类错误（Type I Error）
虽然原假设为真，但却根据观测数据做出了拒绝原假设的错误判断，即“弃真”。第$I$类错误的发生概率为：$$P(拒绝H_0 |H_0)=P(检验统计量落入拒绝域|H_0)=\alpha$$

定义第$II$类错误（Type II Error）
虽然原假设为假，但却根据观测数据做出了接受原假设的错误判断，即“存伪”。第$II$类错误的发生概率为：$$P(接受H_0 |H_1)=P(检验统计量落入接受域|H_1)$$

第$I$类错误发生的概率很容易计算，但第$II$类错误发生的概率很难计算。
在进行假设检验时，一般先指定可接受的发生第$I$类错误的最大概率，即显著性水平，而不指定第$II$类错误的发生概率。

定义功效(power)
称“1减去第$II$类错误的发生概率”为统计检验的功效：$$功效=1-P(接受H_0|H_1)=P(拒绝H_0|H_1)$$

功效为在原假设为错误的情况下，拒绝原假设的概率。

5.9 对线性假设的F检验

有时还需要检验整个回归方程是否显著，即除常数项外，所有解释变量的回归系数是否都为零。

F统计量

定理【F统计量的概率分布】在假定 5.1-5.5均满足，且原假设“$H_0$：$\mathbf {R \hat \beta}=\mathbf r$”也成立的情况下，则F统计量服从自由度为$(m,n-k)$的F分布

\[F \equiv \frac{(R\hat\beta-r)'[RX'XR']^{-1}(R\hat\beta-r)/m}{s^2} \sim F(m,n-k) \]

F统计量形成的逻辑：

需要检验的问题是“解释变量的回归系数是否全部为零”，则
要验证原假设：$H_0:\beta_2=\cdots=\beta_K=0$
实际就是验证：$H_0:\beta_2=0,\beta_3=0,\cdots,\beta_K=0$
这样的联合检验可以表达为：$H_0:R_{m\times K}\beta_{K\times1}=r_{m\times1}$
- $r$：是m维列向量
- $R$ ：满行秩，没有多余和自相矛盾的行
根据[沃尔德检验]，如果$H_0$成立，则（$R\hat\beta-r$）应比较接近0，其中 $\beta$ 由 $\hat \beta$ 估计。
它的接近程度可用二次型来衡量：$(R\hat\beta-r)'[Var(R\hat\beta-r)]^{-1}(R\hat\beta-r)$
$Var(R\hat\beta-r)$进一步的可表示为：$\sigma^2R(X‘X)^{-1}R'$
- $Var(R\hat\beta-r)=Var(R\hat\beta)$

F检验的步骤

如下：

第一步：计算F统计量
第二步：计算显著性水平为 $\alpha$ 的临界值$F_a(m,n-K)$
- 其中：$P\{\tilde F > F_{\alpha}(m,n-K)\}=\alpha$
第三步：比较F统计量与临界值
- 如果F统计量大于临界值即落入右边拒绝域，则拒绝$H_0$
- 如果F统计量小于临界值即落入左边接受域，则接受$H_0$
另外：也可以使用p值

5.10 F统计量的似然比原理表达式

在做假设检验时，如果接受原假设，则可将此原假设作为约束条件，代入最小二乘法的最优化问题。

定义似然比检验（Likelihood Ratio test ，LR）
通过比较“条件极值”和“无条件极值”而进行的检验，统称似然比检验。

F统计量的另一种表达：

考虑有约束的极值问题：$$\begin{align}
&\min_{\hat \beta}SSR(\hat\beta) \ &s.t. \quad R\hat\beta=r \end{align}$$
如果 $H_0:R\beta=r$ 正确，则加上此约束不应使残差平方和增大很多。
换句话说，在 $H_0$ 正确的情况下，($SSR^*-SSR$)不应很大。由此可构成如下F统计量：$$F=\frac{(SSR^*-SSR)/m}{SSR/(n-K)}$$其中：
- $SSR$：无约束的残差平方和
- $SSR^*$：有约束的残差平方和
- $m$：约束条件的个数，矩阵 $R$ 的秩
- $n$：样本个数
- $K$：参数个数，$\beta$ 的维度
还可以用拟合优度来表示F统计量$$F=\frac{(R^2-R_*2)/m}{(1-R^2)/(n-K)}$$
- 如果去掉约束条件后拟合优度上升越多，越应该拒绝约束条件成立的原假设。

5.11 预测

有时也用计量模型进行预测（prediction / forecasting），即给定解释变量 $x_0$ 的（未来）取值，预测被解释变量 $y_0$ 的取值。

假设模型对所有观测值都成立

有 $y_0=x_0'\beta+\epsilon_0 \equiv x$
对 $y_0$ 的点预测为：$\hat y_0 = x_0'\hat \beta$
- 点预测 $\hat y_0$ 是无偏估计
- 预测误差 ($\hat y_0 - y_0$)的方差：$Var()=\sigma^2+\sigma^2x_0'(X'X)^{-1}x_0$
  - 来自抽样误差
  - 来自$y_0$的不确定性
- 预测误差的标准误：$SE(\hat y_0 - y_0) = s \sqrt{1+x_0'(X'X)^{-1}x_0}$
  - 可构建t统计量
  - 可确定置信区间

5.12 多元线性回归的python命令及实例

案例

数据：grilic.dta
对以下方程进行多元线性回归：$$\ln{w}=\beta_1+\beta_2s+\beta_3expr+\beta_4tenure+\beta_5smsa+\beta_6rns+\epsilon$$

代码

[[Chapter_05.ipynb]]

习题

部分答案参见代码文件。

习题中出现的经典文献：[[5.6-Geography and Economic Development.pdf]]

标签：mathbf,05,sigma,多元,beta,epsilon,线性,hat
From： https://www.cnblogs.com/watalo/p/18166947

05_多元线性回归

第5章多元线性回归

5.1 二元线性回归

案例说明

代码实现

5.2 多元线性回归模型

5.3 OLS估计量的推导

5.4 OLS的几何解释

正交性

线性投影

5.5 拟合优度

5.6 古典线性回归模型的假定

5.7 OLS的小样本性质

（1）线性性

（2）无偏性

（3）估计量 \(\hat \beta\) 的协方差矩阵

（4）高斯-马尔可夫定理(Gauss-Markov Theorem)

（5）对扰动项方差的无偏估计

5.8 对单个系数的t检验

（1）计量经济学中的统计推断

分类

检验方法

（2）t 检验

1. t 检验的步骤

2.计算p值

3.计算置信区间

4.单边检验

5.两类错误

5.9 对线性假设的F检验

F统计量

F检验的步骤

5.10 F统计量的似然比原理表达式

5.11 预测

5.12 多元线性回归的python命令及实例

案例

代码

习题

相关文章

赞助商

阅读排行

05_多元线性回归

第5章 多元线性回归

5.1 二元线性回归

案例说明

代码实现

5.2 多元线性回归模型

5.3 OLS估计量的推导

5.4 OLS的几何解释

正交性

线性投影

5.5 拟合优度

5.6 古典线性回归模型的假定

5.7 OLS的小样本性质

（1）线性性

（2）无偏性

（3）估计量 \(\hat \beta\) 的协方差矩阵

（4）高斯-马尔可夫定理(Gauss-Markov Theorem)

（5）对扰动项方差的无偏估计

5.8 对单个系数的t检验

（1）计量经济学中的统计推断

分类

检验方法

（2）t 检验

1. t 检验的步骤

2.计算p值

3.计算置信区间

4.单边检验

5.两类错误

5.9 对线性假设的F检验

F统计量

F检验的步骤

5.10 F统计量的似然比原理表达式

5.11 预测

5.12 多元线性回归的python命令及实例

案例

代码

习题

相关文章

赞助商

阅读排行

第5章多元线性回归