十一、【机器学习】【监督学习】- 局部加权线性回归 (Locally Weighted Linear Regression, LWLR)

在先前的文章系列中，我们深入探讨了机器学习的基础框架和算法分类，为读者构建了关于这一领域的坚实理论基础。本章节我们将焦点转向监督学习领域中的一个核心算法—— 局部加权线性回归 (Locally Weighted Linear Regression, LWLR)，旨在详尽解析其内在逻辑、应用实践及重要参数调整策略。

一、基本定义

（一）、监督学习

监督学习（Supervised Learning）是机器学习中的一种主要方法，其核心思想是通过已知的输入-输出对（即带有标签的数据集）来训练模型，从而使模型能够泛化到未见的新数据上，做出正确的预测或分类。在监督学习过程中，算法“学习”的依据是这些已标记的例子，目标是找到输入特征与预期输出之间的映射关系。

（二）、监督学习的基本流程

数据收集：获取包含输入特征和对应正确输出标签的训练数据集。
        数据预处理：清洗数据，处理缺失值，特征选择与转换，标准化或归一化数据等，以便于模型学习。
        模型选择：选择合适的算法，如决策树、支持向量机、神经网络等。
        训练：使用训练数据集调整模型参数，最小化预测输出与实际标签之间的差距（损失函数）。
        验证与调优：使用验证集评估模型性能，调整超参数以优化模型。
        测试：最后使用独立的测试集评估模型的泛化能力，确保模型不仅在训练数据上表现良好，也能在未见过的新数据上做出准确预测。

（三）、监督学习分类算法（Classification）

定义：分类任务的目标是学习一个模型，该模型能够将输入数据分配到预定义的几个类别中的一个。这是一个监督学习问题，需要有一组已经标记好类别的训练数据，模型会根据这些数据学习如何区分不同类别。
例子：垃圾邮件检测（垃圾邮件 vs. 非垃圾邮件）、图像识别（猫 vs. 狗）。

二、局部加权线性回归 (Locally Weighted Linear Regression, LWLR)

（一）、定义

局部加权线性回归（Locally Weighted Linear Regression, LWLR）是一种非参数回归方法，用于预测连续数值输出。与传统的线性回归模型不同，LWLR在每次预测时都计算一组新的参数，而不是使用固定的一组参数。这种方法使得模型能够更加灵活地适应数据的局部特性，特别是在非线性数据分布中表现更佳。

（二）、基本概念

局部加权线性回归的核心思想是在预测目标点附近的训练数据上施加更高的权重，而在远处的数据点上施加较低的权重。这样做可以使得预测更加关注于目标点的局部信息，从而提高预测的准确性，尤其是在数据表现出局部非线性的情况下。

（三）、训练过程

尽管“训练过程”这个词在这里可能不太恰当，因为LWLR不像其他回归方法那样有一个单独的训练阶段，但我们可以说LWLR的预测过程包括了动态参数估计，可以视为一种“即时训练”。

选择权重函数：通常使用高斯权重函数，其中权重随距离的增加而减小。

其中，
标签：Weighted,Linear,LWLR,模型,学习,监督,数据,局部
From： https://blog.csdn.net/xgq8217/article/details/140357596