【机器学习】线性回归算法简介及数学实现方法

时间：2024-10-08 21:21:47浏览次数：3

标签：函数简介回归样本回归方程算法梯度线性

线性回归

简介

利用回归方程(函数) 对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。
数学公式： ℎ_(w) = w_1x_1+ w_2x_2 + w_3x_3 + … + b = w^Tx+b

概念

利用回归方程(函数) 对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式

在这里插入图片描述

分类

一元线性回归、多元线性回归

在这里插入图片描述

应用场景

在这里插入图片描述

线性回归问题的求解

API简单介绍

在这里插入图片描述

损失函数

误差概念: 用预测值y – 真实值y就是误差

损失函数:衡量每个样本预测值与真实值效果的函数，也叫代价函数、成本函数、目标函数

损失函数误差最小,也就是损失函数的最优解为求解的回归方程

损失函数的种类:

在这里插入图片描述

求解线性回归问题流程:

数据-> 线性回归模型 -> 损失函数 -> 优化方法

正规方程法

这里用到数学知识,与程序训练无关,讲解模型求回归方程的底层数学逻辑

这里补充一个知识范数

范数:

在这里插入图片描述

一元线性回归解析解:

在这里插入图片描述

多元线性回归-方程法

在这里插入图片描述

梯度下降法

沿着梯度下降的方向求解极小值

在这里插入图片描述

梯度:

在这里插入图片描述

梯度下降公式:

在这里插入图片描述

α: 学习率(步长) 不能太大, 也不能太小. 机器学习中：0.001 ~ 0.01
梯度是上升最快的方向, 我们需要是下降最快的方向, 所以需要加负号

在这里插入图片描述

梯度下降法分类:

在这里插入图片描述

随机选择一个样本，假设选择 D 样本，计算其梯度值并存储到列表：[D]，然后使用列表中的梯度值均值，更新模型参数。
随机再选择一个样本，假设选择 G 样本，计算其梯度值并存储到列表：[D, G]，然后使用列表中的梯度值均值，更新模型参数。
随机再选择一个样本，假设又选择了 D 样本, 重新计算该样本梯度值，并更新列表中 D 样本的梯度值，使用列表中梯度值均值，更新模型参数。
…以此类推，直到算法收敛。

正规方程和梯度下降的对比

在这里插入图片描述

回归模型评估方法

线性模型评估的三个指标

平均绝对误差 MAE

在这里插入图片描述

均方误差 MSE

在这里插入图片描述

均方根误差

在这里插入图片描述

三种指标对比

在这里插入图片描述

标签：函数,简介,回归,样本,回归方程,算法,梯度,线性
From： https://blog.csdn.net/weixin_57336987/article/details/142769423

位运算与逻辑运算简介，用位运算表示逻辑运算
目录一、什么是位运算1.1按位与，即&1.2按位或，即|1.3按位取反,即~1.4按位异或，即^二、什么是逻辑运算2.1逻辑与，即&&2.2逻辑或，即||2.3逻辑非，即!三、位运算与逻辑运算的区别四、用位运算表示逻辑运算4.1用位运算表示逻辑非“!”4.2用位运算表示逻辑与......
代码随想录算法训练营day9|●151.翻转字符串里的单词 ●卡码网：55.右旋转字符串 ●28.
学习资料：https://programmercarl.com/0151.翻转字符串里的单词.html学习记录：151.翻转字符串里的单词（感觉C语言能考虑巧妙解法，而python直接搞就对了）c语言：把字符串整体反转，再用双指针法（slow,fast）依次翻转每一个单词，关键在于如何移除多余空格，用slow指针找到要替换到的位置，用fast......
代码随想录算法训练营 | 62.不同路径，63. 不同路径 II
62.不同路径题目链接：62.不同路径文档讲解︰代码随想录(programmercarl.com)视频讲解︰不同路径日期：2024-10-08想法：第一行第一列只有一种方法，除此之外的各自的方法数由其左和上的格子的和得到。Java代码如下：classSolution{publicintuniquePaths(intm,intn){......
基于MUSIC算法的六阵元圆阵DOA估计matlab仿真
1.程序功能描述基于MUSIC算法的六阵元圆阵DOA估计matlab仿真.2.测试软件版本以及运行结果展示MATLAB2022a版本运行 3.核心程序%MUSIC谱矩阵Pmusic=zeros(90/steps+1,360/steps);fortheta=0:steps:90forphi=0:steps:360-steps%计算时......
探索优化的艺术：深入理解模拟退火算法
探索优化的艺术：深入理解模拟退火算法在解决复杂优化问题的过程中，选择合适的算法至关重要。模拟退火算法（SimulatedAnnealing，SA）作为一种基于概率的启发式搜索方法，因其在处理大规模和复杂优化问题时表现出的卓越能力，近年来受到了广泛关注。本文将带您深入了解模拟退火算法的原理、......
基于GA遗传优化的GroupCNN分组卷积网络时间序列预测算法matlab仿真
1.算法运行效果图预览(完整程序运行后无水印) 2.算法运行软件版本MATLAB2022A 3.部分核心程序（完整版代码包含详细中文注释和操作步骤视频）figureplot(Error2,'linewidth',2);gridonxlabel('迭代次数');ylabel('遗传算法优化过程');legend('Averagefitness'......
算法学习--3 （快速排序）
引言快速排序（QuickSort）是计算机科学中最流行的排序算法之一，它基于“分治”思想，通过递归地将数组分成两部分并分别排序，从而实现排序的目的。与冒泡排序和选择排序等简单算法相比，快速排序在平均情况下的性能非常优越，因此广泛应用于实际场景。本文将详细介绍快速排序的工作原理......
算法学习--4 （插入排序）
引言插入排序（InsertionSort）是一种简单且直观的排序算法，常用于小规模数据的排序。它的工作原理与人类排序扑克牌的方式类似，每次将一个元素插入到已经排好序的部分，直到所有元素都插入完成。本文将介绍插入排序的原理、实现代码、时间复杂度分析以及优缺点。插入排序的基本原......
无人机之飞行算法篇
无人机的飞行算法是一个复杂而精细的系统，它涵盖了多个关键技术和算法，以确保无人机能够稳定、准确地执行飞行任务。一、位置估计无人机在空中飞行过程中需要实时获取其位置信息，以便进行路径规划和控制。这通常通过以下传感器实现：GPS：一种依靠卫星信号的定位技术，可以提......
无人机之声音识别算法篇
无人机声音识别算法是无人机侦测技术中的关键一环，它主要通过识别无人机在飞行过程中产生的声音特征来检测和定位无人机。一、无人机声音特征无人机在飞行时，其电机工作和旋翼震动均会产生一定程度的噪声，这些噪声具有独特的声学特征，可以用于无人机的检测与识别......

【机器学习】线性回归算法简介及数学实现方法