首页 > 其他分享 >机器学习:线性回归

机器学习:线性回归

时间:2024-11-19 18:06:52浏览次数:1  
标签:varepsilon frac 回归 float align 线性 机器 sum partial

章节安排

  1. 背景介绍
  2. 均方根误差MSE
  3. 最小二乘法
  4. 梯度下降
  5. 编程实现

背景


生活中大多数系统的输入输出关系为线性函数,或者在一定范围内可以近似为线性函数。在一些情形下,直接推断输入与输出的关系是较为困难的。因此,我们会从大量的采样数据中推导系统的输入输出关系。典型的单输入单输出线性系统可以用符号表示为:

\[y=f(x)=kx+b \]

其中,\(k\)为斜率,反应了当输入量\(x\)变化时,输出\(y\)的变化与输入\(x\)变化的比值;\(b\)反应了当系统没有输入(或输入为\(0\))时,系统的输出值。

数据一般称观测数据采样数据,这两种说法具有一定的侧重点,观测倾向于客观系统,例如每天的涨潮水深;采样倾向于主观系统,例如,对弹簧施加10N的压力,观察弹簧的形变量。

对于但输入单输出系统,数据可以表示为:

\[O=\{o_i\}_N=\{x_i,y_i\}_N \]

\[S=\{s_i\}_N=\{x_i,y_i\}_N \]

其中符号\(O\)对应observation(观测)、符号\(S\)对应sampling(采样),\(\{o_i\}_N\)中\(o_i\)表示采样序列中的每一个元素,\(N\)表示序列中元素的个数,\(x_i\)表示系统输入,\(y_i\)表示系统输出

在系统的推导过程中,一般称推导的结果为对实际系统的估计或近似,用符号记为\(\hat{y}=\hat{f}(x)\)。对于单个采样点,系统的误差定义为:对该采样输入,输出的真实值与输出的预测值的差为误差。用数据公式表示为:

\[\varepsilon_i = y_i-\hat{y_i}=y_i-\hat{f}(x_i) \]

对于整体采样序列,一种经典的误差是均方根误差(Mean Squared Error, MSE),其数学公式为:

\[\text{MSE}=\sum_{i=1}^{N}\varepsilon_i^2 \]

在推导系统输入输出关系,通常有两种方法,一种是基于数值推导的方法,一种是基于学习的方法。本文分别以最小二乘法和梯度下降为例讲解两种方法。

MSE

对于单个采样点的情形,MSE退化为方差的平方,即:

\[\text{MSE}=\varepsilon^2=(y-\hat y)^2 \]

假定参数\(b\)为常量,仅考虑MSE与参数的关系,有

\[\varepsilon^2=(kx+b-y)^2=x^2(k+\frac{b-y}{x})^2 \]

易得,MSE是关于\(k\)的二次函数,且该二次函数有唯一的零点:\(k_0=-(b-y)/x\)

对于多个点的情形,对每个点\(\{s_i\}=\{x_i,y_i\}\),\(\varepsilon_i^2\)均可表示为关于\(k\)的二次函数,有:

\[\text{MSE}=\sum_{i=0}^{N}\varepsilon_i^2=\sum_{i=0}^{N}\big(x_i^2(k+\frac{b-y_i}{x_i})^2\big)=\sum_{i=0}^{N}\big(a_ik^2+b_ik+c_i\big)=Ak^2+Bk+C \]

即:序列的MSE也为关于参数\(k\)的二次函数,并且,\(MSE\geq0\),当且仅当\((b-y_i)/x_i=M\)为常数时不等式取等。

可以很容易证明MSE也是关于参数\(b\)的二次函数

开口向上的二次函数有两个重要的性质:

  1. 导数为\(0\)的点,为其最小值点。

\[f(x_i)= \min{f(x)}\iff f'(x_i)=0 \]

  1. 任意点距离最小值点的距离与其导数值成正比,方向为导数方向的反方向

\[x_i-x_{\min}\propto -f'(x_i) \]

性质1、2分别是最小二乘法、梯度下降法的理论基础/依据。

最小二乘法


最小二乘法基于MSE进行设计,其思想为,找到一组参数,使得MSE关于每个参数的偏导为0,对于一元输入的情形,即:

\[\begin{align} \frac{\partial\text{MSE}}{\partial k}&=0 \tag{3.1}\\ \frac{\partial\text{MSE}}{\partial b}&=0 \tag{3.2} \end{align} \]

首先化简公式\((3.2)\)

\[\begin{align*} \frac{\partial\text{MSE}}{\partial b}&=\frac{1}{N}\sum_{i=1}^{N}\frac{\partial (\varepsilon_i^2)}{\partial b}\\ &=\frac{1}{N}\sum_{i=1}^{N}2\epsilon_i\cdot\frac{\partial}{\partial b} (\varepsilon_i)\\ &=\frac{2}{N}\sum_{i=1}^{N}\epsilon_i\cdot\frac{\partial}{\partial b} (kx_i+b-y_i)\\ &=\frac{2}{N}\sum_{i=1}^{N}(kx_i+b-y_i)\\ &=\frac{2}{N}\Big(k\sum_{i=1}^{N}x_i+Nb-\sum_{i=1}^{N}y_i\Big) \end{align*} \]

由公式\((3.2)\)有:

\[\begin{align*} \frac{2}{N}\Big(k\sum_{i=1}^{N}x_i+Nb-\sum_{i=1}^{N}y_i\Big)&=0\\ b&=\frac{1}{N}\Big(\sum_{i=1}^{N}y_i-k\sum_{i=1}^{N}x_i\Big) \tag{3.3} \end{align*} \]

其次化简公式\(3.1\)

\[\begin{align*} \frac{\partial\text{MSE}}{\partial k}&=\frac{1}{N}\sum_{i=1}^{N}\frac{\partial (\varepsilon_i^2)}{\partial k}\\ &=\frac{1}{N}\sum_{i=1}^{N}2\epsilon_i\cdot\frac{\partial}{\partial k} (\varepsilon_i)\\ &=\frac{2}{N}\sum_{i=1}^{N}\epsilon_i\cdot\frac{\partial}{\partial k} (kx_i+b-y_i)\\ &=\frac{2}{N}\sum_{i=1}^{N}x_i(kx_i+b-y_i)\\ &=\frac{2}{N}\Big(k\sum_{i=1}^{N}x_i^2+b\sum_{i=1}^{N}x_i-\sum_{i=1}^{N}x_iy_i\Big) \end{align*} \]

代入公式\((3.1),(3.3)\)有:

\[\begin{align*} \frac{2}{N}\Big(k\sum_{i=1}^{N}x_i^2+b\sum_{i=1}^{N}x_i-\sum_{i=1}^{N}x_iy_i\Big)&=0\\ k\sum_{i=1}^{N}x_i^2+\frac{1}{N}\sum_{i=1}^{N}x_i\Big(\sum_{i=1}^{N}y_i-k\sum_{i=1}^{N}x_i\Big)-\sum_{i=1}^{N}x_iy_i&=0\\ k\Big(\sum_{i=1}^{N}x_i^2-\frac{1}{N}\big(\sum_{i=1}^{N}x_i\big)^2\Big)&=\sum_{i=1}^{N}x_iy_i-\frac{1}{N}\sum_{i=1}^{N}x_i\sum_{i=1}^{N}y_i\\ k&=\frac{N\sum x_i^2-\big(\sum x_i\big)^2} {N\sum x_iy_i-\sum x_i\sum y_i} \tag{3.4} \end{align*} \]

公式\((3.3),(3.4)\)即为最小二乘法的参数公式

梯度下降


对于学习机器学习的初学者,我们首先讨论最简单的情形:基于单个采样点的学习。

二次函数具有重要性质:任意点距离最小值点的距离与其导数值成正比

\[x_i-x_{\min}\propto -f'(x_i) \]

基于该性质,我们可以可以设计参数更新公式如下

\[\begin{align*} \Delta k_t&=-\lambda\frac{\partial\varepsilon_i^2}{\partial k}\\ &=-\lambda(2\varepsilon_i\frac{\partial\varepsilon_i}{\partial k})\\ &=-\lambda(2\varepsilon_i x_i) \end{align*} \]

\[\begin{align*} \Delta b_t&=-\lambda\frac{\partial\varepsilon_i^2}{\partial b}\\ &=-\lambda(2\varepsilon_i\frac{\partial\varepsilon_i}{\partial b})\\ &=-\lambda(2\varepsilon_i) \end{align*} \]

故有参数更新公式:

\[\begin{align*} \varepsilon_i&=y-(kx_i+b_i)\tag{4.1}\\ k&:=k-\lambda(2\varepsilon_i x_i) \tag{4.2}\\ b&:=v--\lambda(2\varepsilon_i)\tag{4.3} \end{align*} \]

其中\(\lambda\)为学习率,一般取\(0.1\sim10^{-6}\)

常数\(2\)是可以缺省的,可以视为学习率放大了两倍。

编程实现

建议读者按照如下方法创建头文件、定义函数
typedef.h :定义变量类型
random_point.h:生成随机点
least_square.h:最小二乘法的实现
gradient_descent.h:梯度下降方法的实现

类型定义


首先我们需要定义采样点,以及采样点序列类型。
采样点是包含\(x\)、\(y\)两个值的数据类型。同时,为方便使用,定义别名Point
采样点序列,或者称数据,可以存储为类型为Pointvector

struct SamplePoint{
  float x;
  float y;
}
using Point = SamplePoint;

using Data = std::vector<Point>;

对于直线,其包含\(k\),\(b\)两个参数,同时,为了方便调用,定义括号运算符()重载

struct LinearFunc{
  float k;
  float b;
  float operator()(float x){
    return k*x+b;
  }
}
using Line = LinearFunc;
using Func = LinearFunc;

数据生成


采用random库中的normal_distribution随机数引擎

#include <random>
#include <cmath>
#include "typedef.h"

Data generatePoints(const Func& func, float sigma, float a, float b, int numPoints) {
    Data points;
    std::random_device rd;
    std::mt19937 gen(rd());
    // std::uniform_real_distribution<> distX(a, b); // 均匀分布
    std::normal_distribution<> distX((a + b) / 2, (b - a) / 2.8); // 正态分布
    std::normal_distribution<> distY(0, sigma);

    for (int i = 0; i < numPoints; ++i) {
        float x = distX(gen);
        float y = func(x) + distY(gen);
        points.push_back({ x, y });
    }

    return points;
}

该方法接受五个输入,分别是:

  1. func:函数,自变量\(x\)与自变量\(y\)的关系
  2. sigma:\(y\)的观测值与真实值的误差的方差
  3. ab:生成的数据范围的参考上下界,决定了生成数据的宽度,同时,绝大多数数据将位于此区间
  4. numPoints:点的个数

最小二乘法


最小二乘法仅需接受一个输入:数据Data,同时返回数据。

\[\begin{align*} k&=\frac{N\sum x_i^2-\big(\sum x_i\big)^2} {N\sum x_iy_i-\sum x_i\sum y_i} \tag{3.4}\\ b&=\frac{1}{N}\Big(\sum_{i=1}^{N}y_i-k\sum_{i=1}^{N}x_i\Big) \tag{3.3} \end{align*} \]

在实现中,需要遍历采样数据,并分别进行累加计算\(\sum x_i\)、\(\sum y_i\)、\(\sum x_i^2\)和\(\sum x_iy_i\)

Line Least_Square(const Data& data) {
  Line line;

  float s_x = 0.0f;
  float s_y = 0.0f;
  float s_xx = 0.0f;
  float s_xy = 0.0f;

  float n = static_cast<float>(data.size());

  for (const auto& p : data) {
    s_x += p.x;
    s_y += p.y;
    s_xx += p.x * p.x;
    s_xy += p.x * p.y;
  }
	
  line.k = (n * s_xy - s_x * s_y) / (n * s_xx - s_x * s_x);
  line.b = (s_y - line.k * s_x) / n;

  return line;
}

梯度下降


梯度下降法是一种学习方法。对参数的估计逐渐向最优估计靠近。在本例中表现为,MSE逐渐降低。
首先实现单步的迭代,在该过程中,遍历所有的采样数据,依据参数更新公式对参数进行修正。

\[\begin{align*} \varepsilon_i&=y-(kx_i+b_i)\tag{4.1}\\ k&:=k-\lambda(2\varepsilon_i x_i) \tag{4.2}\\ b&:=v--\lambda(2\varepsilon_i)\tag{4.3} \end{align*} \]

梯度下降法需要一个给定的初值,对于线性函数,除了人工生成、随机初值外,一种方式是,假定为正比例函数,以估计\(k\),假定为常函数,以估计\(b\),公式如下:

\[\begin{align*} k_0&=\sum y_i/\sum x_i \tag{5.1}\\ b_0&=\sum y_i/ N \tag{5.2} \end{align*} \]

在本例中,设定为对初值进行100次迭代后得到最终估计,读者可根据实际情况调整,在学习度设计的合适的情况下,一般迭代次数在\(50\sim200\)次

#include "typedef.h"

constexpr float eps = 1e-1;
constexpr float lambda = 1e-5;

void GD_step(Func& func, const Data& data) {
  for (const auto& p : data) {
    float error = func(p.x) - p.y;
    func.k -= lambda * error * p.x;
    func.b -= lambda * error;
  }
}

Func Gradient_Descent(Func& func, const Data& data) {
  float s_x = 0, s_y = 0;
  for (const auto& p : data) {
    s_x += p.x;
    s_y += p.y;
  }

  Line line;
  line.k = s_y / s_x;
  line.b = s_y / data.size();

  float lambda = 1e-5f;

  for (size_t _ = 0; _ < 100; _++) {
    GD_step(line, data);
  }

  return line;
}

附录

nan问题

该问题有两种产生的原因,参数更新符号错误及学习率过高。

参数更新符号错误
在更新公式中,如果错误的使用+号,或者采用\(\hat y-y\)计算\(\varepsilon_i\),都将会导致参数向误差更大的方向更新,经过了数次迭代后,与真实值的距离越来越远,最终产生nan。

\[k:=k-\lambda(2\varepsilon_i x_i) \]

学习率过高
如下图,当学习率设置的过高时,新的参数组\(\{k_{t+1},b_{t+1}\}\)将比旧参数\(\{k_{t},b_{t}\}\)带来更大的估计误差(红色箭头),而良好的学习率是使得估计误差逐渐下降的
description

标签:varepsilon,frac,回归,float,align,线性,机器,sum,partial
From: https://www.cnblogs.com/SXWisON/p/18554744

相关文章

  • 人工智能之机器学习基础——梯度
    梯度(Gradient)是多变量函数中表示变化率和方向的一个基本概念,在优化问题和深度学习中非常重要。它描述了函数在某一点的变化趋势,指向该点函数值增长最快的方向。    梯度和导数的关系 梯度和导数的应用场景 梯度与导数的区别特性导数梯度适用范围一元......
  • 基于MindSpore实现Transformer的文本机器翻译
    一、前言相同的一句话,不同的人听的时候侧重点也可能不同。在自然语言处理中,根据任务内容的不同,句子中需要重点关注的部分也会不同,因而引入了注意力机制。注意力机制:判断在执行某个任务时,词在句子中的重要性,并通过注意力分数来表示词的重要程度。分数越高,说明该词对完成该任务......
  • 哋它亢编程语言机器学习框架(如TensorFlow、PyTorch等)
    “哋它亢”作为一种新一代机器学习与深度学习的编程语言,虽然现实中并不存在这种语言,但我们可以基于其被假定为高性能和强编程能力的特性,来构想其可能的优势,并尝试给出一个示例代码。以下是对“哋它亢”编程语言优势的详细阐述及示例代码。哋它亢编程语言“哋它亢”编程语言的优......
  • 【电销革命!电话机器人外呼中心:效率倍增的制胜法宝】
    在这个信息爆炸、竞争激烈的商业时代,电销行业作为连接企业与客户的重要桥梁,正面临着前所未有的挑战与机遇。传统的人工电销方式,不仅耗时费力,效率低下,还难以精准捕捉客户需求,导致转化率不尽人意。然而,随着AI技术的飞速发展,一场电销领域的革命正在悄然上演——电销神器“电话机器......
  • 财务机器人进化:从 RPA 到结合大模型的智能变革,你知道多少?
        在当今数字化飞速发展的时代,财务领域正经历着一场前所未有的变革。从传统的财务处理方式到流程自动化机器人(RPA)的应用,再到如今与大模型相结合的智能进化,每一步都深刻地影响着财务工作的模式。 一、RPA时代的财务自动化回顾    在财务机器人发展的早期,RPA......
  • 机器学习-38-对ML的思考之探寻Iris数据集的来源及并非完美的标准数据集
    文章目录1标准数据集的滥用1.1机器学习不研究采集数据1.2基于别人采集的数据学习2经典的数据集2.1Iris鸢尾花数据集2.2探寻Iris数据集的源头2.2.1Iris物种2.2.2侦探工作2.2.3解开谜团2.2.4哪里可以找到Iris数据集2.3Iris数据的采集过程......
  • 【日记】每次修机器都有些头疼(721 字)
    正文这一连几天都下雨,冷死了。基本上玩了一天。没怎么干活儿。下午打算写完至少一篇文章,结果难产了。晚上接到了搬去5楼的命令,这次没得商量。头疼。时间在明天晚上。晚上终于还是忍不住稍微动了一下,结果感觉膝盖的伤要复发了……又回到了书荒的状态。......
  • FANUC发那科机器人主板维修,故障问题检测
    电容损坏引发的故障在电子设备中是特别高的,其中尤其以电解电容的损坏为常见电容损坏表现为:1.容量变小;2.完全失去容量;3.漏电;4.短路。电容在电路中所起的作用不同,引起的故障也各有特点。在发那科机器人维修中,数字电路占绝大多数,电容多用做电源滤波,用做信号耦合和振荡电路的电容较......
  • 线性基小记
    线性基(这里是异或线性基)是对于序列\(a_1...a_n\)满足以下条件的一个极小集合\(\mathrmS\):\(S\)中的所有元素可以通过异或表示出\(a\)中的所有元素。\(S\)在满足第一个条件的情况下,集合大小最小。进一步的,可以推出以下性质:\(S\)中任意元素的异或和不等于\(......
  • R语言caretEnsemble包的caretList函数一次性构建多个机器学习模型、caret包的resample
    R语言caretEnsemble包的caretList函数一次性构建多个机器学习模型、caret包的resamples函数比较在同一数据集上多个机器学习模型的比较结果目录R语言使用caretEnsemble包的caretList函数一次性构建多个机器学习模型、并使用caret包的resamples函数比较在同一数据集上多个机......