杂谈篇：深度理解最小二乘

• 前言

        最近笔者在学习过程中经常使用到误差平差原理相关的知识，所以写这篇文章来回忆一下平差的最深层原理，也就是最小二乘法。

二．最小二乘法的一些应用

2.1最小二乘法与线性回归

       之前我有文章写过线性回归的相关内容，而它是基于最小二乘法原理进行的。

       首先，我们要定义一个量，残差。它是目前的数值y与要拟合的数值y帽的差值，用数学公式表达即：

其中，我们要拟合的是一条直线，所以式子可以变为下面形式：

如果拟合出的参数W越好，那拟合值和真实值差距（也就是残差）就越小。这里就引出了最小二乘法的损伤函数：

       这里也可以看成是残差的平方，平方是因为残差有正有负，为了消除符号的影响引入的。当L最小时，W也就最优。

       L对W求偏导，然后计算L对应的最小的W如下所示：

2.2最小二乘法和测量平差(没兴趣读者可以跳过)

       测量平差理论中，把残差叫做改正数v，并且给出下列公式：

       它的意思是，真实值等于测量值加改正数。其实真实值我们永远也无法得到，所以这里的真实值，我们可以大致理解成最后拟合出来的，质量比较好的值。

       之后，我们假设L帽是有一个线性关系：

       再引入下面两个式子：

       整理式子得到最终要优化的式子：

       这个时候，就对应线性拟合中的残差方程。代入最小二乘法的解析式子得到：

三．最小二乘法与最大似然法

3.1最大似然法

       最大似然法是已经知道当前数据下的大分布（最小二乘法假设残差的分布是正态分布，所以我们这里就统一分布为正态分布），并且已经得到各个数据的值，随后用这些值估计这个概率分布的最优参数的方法。

       如，假设我们有n个数据：

       由于它们直接的分布是独立的，所以可以得到：

       之后用特点的方法就可以得到最优的参数θ。

3.2最小二乘法公式推导

       我们假设，线性的式子如下：

       由于总有误差，所以假设真实的方程为：

       其中e服从正态分布，即：

       所以，关于e的方程为：

       根据最大似然法，我们得到下面式子：

       通过取对数等操作，得到式子如下：

       由于σ并不依赖于x，所以最终式子为：

       这就是最小二乘法。或者是，最小二乘法是分布为正态分布的最大似然法。

四．结语

       最小二乘法估计在我们的生活中无处不在，特别是工程中，它可以说是最基础的方法之一。

       另外最小二乘法与投影有一定的关系，但是与笔者的专业没有太大重叠空间，所以这里不细讲。