多元线性回归损失函数求导过程 均方误差推导过程 最小二乘法推导

1. 方程2-8:
           

2. 对方程2-8关于 求导:
           

3. 分别求导:

•     ，因为  与 无关。
•     ，根据矩阵微分公式 。
•     ，根据矩阵微分公式 。
•     ，根据矩阵微分公式 ，这里 是对称矩阵，所以 。

4. 将求导结果代入:
           

            说明：矩阵乘法和向量的内积（点乘）是可交换的，所以：

5. 整理得到公式2-13:
           

           简化：

6. 为满秩矩阵或者正定矩阵，设置偏导数等于0来找到最小化损失函数的  ：

        这是线性回归中最常见的正规方程。

7. 矩阵 不是满秩矩阵时：

它可能不可逆，从而导致参数 无法直接求解。通过添加正则化项 ，可以确保 是满秩的，从而保证矩阵的可逆性。

        正则化项  中的 是一个正数， 是单位矩阵。