首页 > 其他分享 >RBF径向基神经网络理解(2)

RBF径向基神经网络理解(2)

时间:2023-01-28 22:31:25浏览次数:46  
标签:函数 算法 学习 神经网络 权值 RBF 径向

径向基函数(RBF,Radial Basis Function)神经网络是由 J.Moody 和 C.Darken 于 20 世纪 80 年代末提出的一种神经网络,径向基函数方法在某种程度上利用了多维空间中传统的严格插值法的研究成果。

RBF径向基神经网络理解(2)_监督学习

最基本的径向基函数( RBF)神经网络的构成包括三层,其中每一层都有着完全不同的作用。输入层由一些感知单元组成,它们将网络与外界环境连接起来;第二层是网络中仅有的一个隐层,它的作用是从输入空间到隐层空间之间进行非线性变换,在大多数情况下,隐层空间有较高的维数;输出层是线性的,它为作用于输入层的激活模式提供响应。

RBF径向基神经网络理解(2)_基函数_02

RBF网络是一种局部逼近网络,现已证明它能以任意精度逼近任一连续函数。

​1.RBF结构及工作原理

1.1 径向基神经网络结构及原理

RBF径向基神经网络理解(2)_监督学习_03

RBF径向基神经网络理解(2)_监督学习_04

RBF径向基神经网络理解(2)_监督学习_05

RBF径向基神经网络理解(2)_权值_06

RBF径向基神经网络理解(2)_监督学习_07

1.2 RBF 网络汇总

RBF径向基神经网络理解(2)_监督学习_08

RBF径向基神经网络理解(2)_权值_09

RBF径向基神经网络理解(2)_权值_10

1.2 radbas (高斯函数)

RBF径向基神经网络理解(2)_权值_11

RBF径向基神经网络理解(2)_监督学习_12

1.4 RBF网络学习算法的MATLAB实现

RBF径向基神经网络理解(2)_基函数_13

RBF径向基神经网络理解(2)_权值_14

RBF径向基神经网络理解(2)_权值_15

2.RBF学习算法

2.1目标函数

设有RBF径向基神经网络理解(2)_基函数_16组输入RBF径向基神经网络理解(2)_权值_17输出样本 RBF径向基神经网络理解(2)_监督学习_18 ,RBF径向基神经网络理解(2)_权值_19。定义目标函数:

RBF径向基神经网络理解(2)_权值_20

学习的目的是使RBF径向基神经网络理解(2)_权值_21;RBF径向基神经网络理解(2)_基函数_22是在 RBF径向基神经网络理解(2)_基函数_23 输入下网络的输出向量。 RBF 网络的学习算法一般包括两个不同的阶段:隐层径向基函数的中心的确定阶段和径向基函数权值学习调整阶段。

2.2隐层径向基函数中心的确定阶段

常见方法有随机选取固定中心法;中心的自组织选择法等。

此处介绍中心的自组织选择法。

中心的自组织选择算法是一种无导师学习也称为非监督学习,是对所有样本的输入进行聚类,求得各隐层节点的 RBF的中心RBF径向基神经网络理解(2)_基函数_24。这里介绍常用 K-均值聚类算法。

2.2.1 K-均值聚类算法步骤

1.初始化:给定各隐节点的初始值RBF径向基神经网络理解(2)_权值_25

2.相似匹配:计算距离(欧氏空间),并求取最小距离的节点:

RBF径向基神经网络理解(2)_权值_26

RBF径向基神经网络理解(2)_权值_27

3.调整中心: 

RBF径向基神经网络理解(2)_权值_28               

RBF径向基神经网络理解(2)_权值_29

其中,RBF径向基神经网络理解(2)_基函数_30是学习速率,RBF径向基神经网络理解(2)_基函数_31

4,继续:将t值加1,回到第二步,重复上述过程,直到中心RBF径向基神经网络理解(2)_监督学习_32的改变量很小时为止。

​2.3径向基函数权值学习调整阶段

常见方法有权值的监督选择法;正则化严格插值法等。

此处介绍权值的监督选择法。

监督选择法是一种有导师学习也称为监督学习算法。径向基函数的中心以及网络的所有其他参数都将经历一个监督学习的过程。换句话说, RBF 网络将采用最一般的方式,这个方法的自然后选是采用误差修正学习过程,它可以很方便地使用梯度下降法。当RBF径向基神经网络理解(2)_基函数_24确定后,训练由隐层至输出层之间权值,它是一个线性方程组,则求权值就成为线性优化问题,如NLMS算法、最小二乘递推法等求得。

2.3.1 NLMS 算法步骤

对于RBF网络,权值调整算法:

RBF径向基神经网络理解(2)_基函数_34

其中,α是常值,0<α<2。当J≤ε时,算法结束。

2.3.2 最小二乘递推法RLS算法步骤

为简单起见,讨论单输出的情况。

定义目标函数:

RBF径向基神经网络理解(2)_基函数_35


其中,RBF径向基神经网络理解(2)_权值_36是加权因子。若第RBF径向基神经网络理解(2)_监督学习_37个样本比第RBF径向基神经网络理解(2)_权值_38个可靠,则加权因子

要大,可取:

RBF径向基神经网络理解(2)_基函数_39,RBF径向基神经网络理解(2)_权值_40,RBF径向基神经网络理解(2)_权值_41

其中,RBF径向基神经网络理解(2)_基函数_16是样本长度。

使J值最小的W即为所求的权值,因此,由

RBF径向基神经网络理解(2)_权值_43

可得最小二乘递推算法( RLS):

RBF径向基神经网络理解(2)_权值_44

------------NED------------



标签:函数,算法,学习,神经网络,权值,RBF,径向
From: https://blog.51cto.com/u_15714963/6025181

相关文章