首页 > 编程语言 >【matlab】智能优化算法优化BP神经网络

【matlab】智能优化算法优化BP神经网络

时间:2024-07-15 21:55:53浏览次数:19  
标签:蜣螂 pop 算法 BP matlab 优化 hiddennum

目录

引言

一、BP神经网络简介

二、智能优化算法概述

三、智能优化算法优化BP神经网络的方法

四、蜣螂优化算法案例

1、算法来源

2、算法描述

3、算法性能

结果仿真

代码实现


引言

智能优化算法优化BP神经网络是一个重要的研究领域,旨在通过智能算法提高BP神经网络的性能和效率。以下是对该过程的详细解释:

一、BP神经网络简介

BP神经网络(Back Propagation Neural Network)是一种基于误差反向传播算法的人工神经网络,由输入层、隐层和输出层组成。它通过前向传播计算输出,然后通过反向传播调整权重和阈值,以最小化输出误差。BP神经网络广泛应用于分类、回归、模式识别等领域。

二、智能优化算法概述

智能优化算法是一类受到人类智能、生物群体社会性或自然现象规律启发的算法,用于解决复杂的优化问题。这些算法通常具有全局搜索能力,能够避免陷入局部最优解。智能优化算法包括进化类算法(如遗传算法、差分进化算法)、群智能类算法(如蚁群算法、粒子群算法)和物理法则类算法(如模拟退火算法、引力搜索算法)等。

三、智能优化算法优化BP神经网络的方法

  1. 选择智能优化算法
    • 根据问题的特性和需求选择合适的智能优化算法。例如,对于高维度、非线性问题,可以考虑使用遗传算法或粒子群算法等。
  2. 确定优化目标
    • 在BP神经网络中,优化目标通常是调整权重和阈值,以最小化输出误差。这可以通过定义一个目标函数(如均方误差MSE)来实现。
  3. 编码和解码
    • 将BP神经网络的权重和阈值编码为智能优化算法可以处理的形式(如二进制编码、实数编码等)。
    • 在优化过程中,对编码后的参数进行解码,以构建BP神经网络模型。
  4. 初始化种群或粒子
    • 在进化类算法中,需要初始化一个种群;在群智能类算法中,则需要初始化一组粒子。这些个体或粒子代表了BP神经网络的初始权重和阈值。
  5. 评估适应度
    • 使用目标函数评估每个个体或粒子的适应度(即BP神经网络的性能)。这通常通过计算训练集或测试集上的误差来实现。
  6. 进化或迭代
    • 根据适应度进行进化操作(如交叉、变异、选择)或迭代更新(如粒子位置的更新)。这些操作旨在产生性能更好的BP神经网络模型。
  7. 终止条件
    • 设置适当的终止条件(如最大迭代次数、最小误差等),以结束优化过程。
  8. 结果分析
    • 分析优化后的BP神经网络模型的性能,并与优化前的模型进行比较。

四、蜣螂优化算法案例

蜣螂优化算法(Dung Beetle Optimizer, DBO)是一种新型的群智能优化算法,该算法在2022年底被提出,并发表在知名SCI期刊《The Journal of Supercomputing》上。其主要受蜣螂的滚球、跳舞、觅食、偷窃和繁殖行为的启发,具有进化能力强、搜索速度快、寻优能力强的特点。以下是对蜣螂优化算法的详细介绍:

1、算法来源

蜣螂优化算法由Jiankai Xue和Bo Shen在2022年提出,其灵感来源于蜣螂在自然界中的多种行为习性。这些习性包括滚球导航、跳舞重新定位、觅食、偷窃以及繁殖等,这些行为被巧妙地转化为算法中的优化策略。

2、算法描述

在蜣螂优化算法中,每只蜣螂的位置对应一个解,通过模拟蜣螂的多种行为来更新解的位置,从而找到问题的最优解。算法主要包括以下几个部分:

  1. 滚球行为
    • 蜣螂在滚动粪球的过程中会利用天体(如太阳)进行导航,使粪球沿直线滚动。在算法中,这一行为被模拟为蜣螂位置的更新受光源强度、风等自然因素的影响。
    • 公式表示:xi​(t+1)=xi​(t)+α×k×(xi​(t)−xi​(t−1))+b×Δx,其中Δx用于模拟光的强度变化。
  2. 跳舞行为
    • 当蜣螂遇到障碍物无法前进时,会通过跳舞来调整方向。在算法中,这被模拟为使用切线函数获得新的滚动方向,并继续滚动。
    • 公式表示:xi​(t+1)=xi​(t)+tan(θ)×∣xi​(t)−xi​(t−1)∣,其中θ为偏转角。
  3. 觅食行为
    • 雌性蜣螂会将粪球滚到安全的地方进行产卵,为后代提供安全的环境。在算法中,这被模拟为建立最优觅食区域,引导小蜣螂觅食。
    • 公式表示:小蜣螂的位置更新受全局最优位置的影响,同时加入随机数进行探索。
  4. 偷窃行为
    • 蜣螂种群中存在偷窃行为,即一些蜣螂会争夺食物并占为己有。在算法中,这被模拟为小偷蜣螂根据其他蜣螂的位置和最佳觅食区寻找食物。
    • 公式表示:小偷蜣螂的位置更新受全局最优位置和随机向量的影响。
3、算法性能

蜣螂优化算法通过模拟蜣螂的多种行为,实现了全局探索和局部开发的平衡,具有收敛速度快和准确率高的特点。该算法已被应用于多个领域的优化问题中,如无人机路径规划、神经网络参数优化等,并取得了良好的效果

结果仿真

神经网络工具箱:

 网络图:

回归

预测误差

代码实现

% 清空环境
clc
clear

%读取数据
load data input output

%节点个数
inputnum=2;
hiddennum=5;
outputnum=1;

%训练数据和预测数据
input_train=input(1:1900,:)';
input_test=input(1901:2000,:)';
output_train=output(1:1900)';
output_test=output(1901:2000)';

%选连样本输入输出数据归一化
[inputn,inputps]=mapminmax(input_train);
[outputn,outputps]=mapminmax(output_train);

%构建网络
net=newff(inputn,outputn,hiddennum);

% 参数初始化
dim=21;
maxgen=100;   % 进化次数  
sizepop=30;   %种群规模

popmax=5;
popmin=-5;
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
P_percent = 0.2;    % The population size of producers accounts for "P_percent" percent of the total population size       

pNum = round( sizepop *  P_percent );    % The population size of the producers   


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
for i=1:sizepop
    pop(i,:)=5*rands(1,21);
%     V(i,:)=rands(1,21);
     fitness(i)=fun(pop(i,:),inputnum,hiddennum,outputnum,net,inputn,outputn); 
end
XX= pop;
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
pFit = fitness;                      
[ fMin, bestI ] = min( fitness );      % fMin denotes the global optimum fitness value
bestX = pop( bestI, : );             % bestX denotes the global optimum position corresponding to fMin


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 蜣螂优化算法 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
for t = 1 : maxgen 
 [ ans, sortIndex ] = sort( pFit );% Sort.
     
  [fmax,B]=max( pFit );
   worse= pop(B,:);  
         
   r2=rand(1);
  %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
    for i = 1 : pNum    
        if(r2<0.9)
            r1=rand(1);
          a=rand(1,1);
          if (a>0.1)
           a=1;
          else
           a=-1;
          end
     pop( i , : ) =  pop(  i , :)+0.3*abs(pop(i , : )-worse)+a*0.1*(XX( i , :)); % Equation (1)
       else
            
           aaa= randperm(180,1);
           if ( aaa==0 ||aaa==90 ||aaa==180 )
             pop(  i , : ) =  pop(  i , :);   
           end
         theta= aaa*pi/180;   
       
        pop(  i , : ) =  pop(  i , :)+tan(theta).*abs( pop(i , : )-XX( i , :));    % Equation (2)      

        end
      
        fitness( i )=fun(pop(i ,:),inputnum,hiddennum,outputnum,net,inputn,outputn); 
    end 
  
  [ fMMin, bestII ] = min( fitness );      
  bestXX = pop( bestII, : );  
  
  R=1-t/maxgen;                           %
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 Xnew1 = bestXX.*(1-R); 
     Xnew2 =bestXX.*(1+R);                    %%% Equation (3)
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
     Xnew11 = bestX.*(1-R); 
     Xnew22 =bestX.*(1+R);                     %%% Equation (5)
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
   for i = ( pNum + 1 ) :12                  % Equation (4)
     pop( i, : )=bestXX+((rand(1,dim)).*(pop( i , : )-Xnew1)+(rand(1,dim)).*(pop( i , : )-Xnew2));
  fitness( i )=fun(pop(i ,:),inputnum,hiddennum,outputnum,net,inputn,outputn); 
   end
   
    for i = 13: 19                  % Equation (6)

   
        pop( i, : )=pop( i , : )+((randn(1)).*(pop( i , : )-Xnew11)+((rand(1,dim)).*(pop( i , : )-Xnew22)));
      fitness( i )=fun(pop(i ,:),inputnum,hiddennum,outputnum,net,inputn,outputn); 
  
    end
  
    for j = 20 : sizepop                  % Equation (7)
        pop( j,: )=bestX+randn(1,dim).*((abs((  pop(j,:  )-bestXX)))+(abs((  pop(j,:  )-bestX))))./2;
      fitness( j )=fun(pop(j ,:),inputnum,hiddennum,outputnum,net,inputn,outputn); 
  end
  
  %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
   
    XX=pop;
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
   for i = 1 : sizepop 
        if ( fitness( i ) < pFit( i ) )
            pFit( i ) = fitness( i );
             pop(i,:) = pop(i,:);
        end
        
        if( pFit( i ) < fMin )
           fMin= pFit( i );
            bestX =pop( i, : );
         
            
        end
    end
 
 

    yy(t)=fMin;    
end
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%% 迭代寻优
x=bestX
%% 结果分析
plot(yy)
title(['适应度曲线  ' '终止代数=' num2str(maxgen)]);
xlabel('进化代数');ylabel('适应度');
%% 把最优初始阀值权值赋予网络预测
% %用蜣螂优化算法优化的BP网络进行值预测
w1=x(1:inputnum*hiddennum);
B1=x(inputnum*hiddennum+1:inputnum*hiddennum+hiddennum);
w2=x(inputnum*hiddennum+hiddennum+1:inputnum*hiddennum+hiddennum+hiddennum*outputnum);
B2=x(inputnum*hiddennum+hiddennum+hiddennum*outputnum+1:inputnum*hiddennum+hiddennum+hiddennum*outputnum+outputnum);

net.iw{1,1}=reshape(w1,hiddennum,inputnum);
net.lw{2,1}=reshape(w2,outputnum,hiddennum);
net.b{1}=reshape(B1,hiddennum,1);
net.b{2}=B2;

%% 训练
%网络进化参数
net.trainParam.epochs=100;
net.trainParam.lr=0.1;
net.trainParam.goal=0.00001;

%网络训练
[net,tr]=train(net,inputn,outputn);

%%预测
%数据归一化
inputn_test=mapminmax('apply',input_test,inputps);
an=sim(net,inputn_test);
test_simu=mapminmax('reverse',an,outputps);
error=test_simu-output_test;
figure(2)
plot(error)
title('仿真预测误差','fontsize',12);
xlabel('仿真次数','fontsize',12);ylabel('误差百分值','fontsize',12);

标签:蜣螂,pop,算法,BP,matlab,优化,hiddennum
From: https://blog.csdn.net/m0_58683132/article/details/140414570

相关文章