基于麻雀算法优化的相关向量机RVM回归预测算法
文章目录
- 基于麻雀算法优化的相关向量机RVM回归预测算法
- 1.RVM原理
- 2.基于麻雀算法优化的相关向量机RVM
- 3.算法实验与结果
- 3.参考文献：
- 4.MATLAB代码
摘要：本文主要介绍相关向量机RVM的基本原理，以及在预测问题中的应用。
1.RVM原理
RVM算法是一种基于贝叶斯框架的机器学习模型 ，通过最大化边际似然得到相关向量和权重。
设和
分别是输入向量和输出向量，目标
可采用如式(1)所示的回归模型获得:
式中: 为零均值、方差
的噪声，
定义为:
式中: 是核函数，
是权重向量，
是偏差。设
是独立的，其概率定义为:
式中：,
是
的矩阵。
式(3)中的 和
最大似然估计会导致过拟合，为约束参数，定义一个零均值高斯先验概率分布:
式中: 是
依据贝叶斯公式，未知参数的后验概率为:
后验分布的权重被描述为:
式中:后验均值,协方差
,
。
为了实现统一的超参数，做出如下定义:
高斯径向基函数具有较强的非线性处理能力，被用作核函数，其定义如下:
式中:
2.基于麻雀算法优化的相关向量机RVM
本文利用麻雀算法优化RVM的宽度因子和超参数。适应度函数设计为训练集预测结果与真实值的MSE。MSE越低表明算法的预测性能越好。
3.算法实验与结果
本文算法数据数量一共为250组数据。其中前200组数据用训练，后50组数据用作测试数据。数据的输入维度为2维，输出维度为1维。
数据类别 | 数据量 |
训练数据 | 200 |
测试数据 | 50 |
设置麻雀算法的参数如下：
%% 麻雀参数设置
pop=20; %种群数量
Max_iteration=20; % 设定最大迭代次数
dim = 3;% 维度为2，即优化两个超参数，已经核宽度
lb = [0.1,0.1,0.1];%下边界
ub = [1,1,10];%上边界
RVM训练集MSE：0.0010558
RVM测试集MSE：0.0016356
SSA-RVM训练集MSE：3.1329e-06
SSA-RVM测试集MSE：5.2491e-06
从结果曲线，和训练集MSE以及测试集MSE来看，SSA-RVM相比基础RVM在回归预测问题上表现了较好的结果。
3.参考文献：
[1] TIPPPING M E． Sparse Bayesian learning and the relevance vector machine［J］． The journal of machine learning research，2001，1: 211-244．
4.MATLAB代码
