1.算法描述
贝叶斯判别规则是把某特征矢量(x) 落入某类集群的条件概率当成分类判别函数(概率判别函数),x落入某集群的条件概率最大的类为X的类别,这种判决规则就是贝叶斯判别规则。贝叶斯判别规则是以错分概率或风险最小为准则的判别规则。
判别函数,各个类别的判别区域确定后,可以用一些函数来表示和鉴别某个特征矢量属于哪个类别,这些函数就称为判别函数。这些函数不是集群在特征空间形状的数学描述,而是描述某一位置矢量属于某个类别的情况,如属于某个类别的条件概率,一般不同的类别都有各自不同的判别函数。
贝叶斯分类,是机器学习中比较重要并被广泛使用的一个分类算法,它分类思想主要基于贝叶斯定理。用一句话来描述就是,如果一个事件A发生时,总是伴随事件B,那么事件B发生时,事件A发生的概率也会很大。
贝叶斯分类一个很常见的用途是用在识别垃圾邮件上。我们给定一个学习集,程序通过学习集发现,在垃圾邮件中经常出现“免费赚钱”这个词,同时“免费赚钱”这个词又在垃圾邮件中更容易出现。那么在实际判断中,我们发现邮件中出现“免费赚钱”,就可以判定邮件是垃圾邮件。
其实我们每个人,我们的大脑每天都会执行分类操作,而且思考的过程和贝叶斯分类很像。我们可以想象一下,我们自己是如何识别垃圾邮件的。我们识别垃圾邮件总会有一定的规则,比如邮件中含有XX关键词,邮件描述信息太离谱了,邮件的发送人不认识,邮件中包含钓鱼网站。而这些规则,我们都是通过以往的经验总结出来的。通过这些规则,我们就可以判定邮件是垃圾邮件的概率更大,还是非垃圾邮件的概率更大。
首先我们要知道,P(A),P(B)分别是事件A,B发生的概率,而P(A|B)是在事件A在事件B发生的前提下发生的概率,P(AB)是事件A,B同时发生的概率。那么我们的有公式:
那么贝叶斯定理是:
注:P(AB)=P(A)P(B)的充分必要条件是事件A和事件B相互独立。用通俗的语言讲就是,事件A是否发生不会影响到事件B发生的概率。
2.仿真效果预览
matlab2022a仿真结果如下:
3.MATLAB核心程序
function y=BayesLeastRisk(data) clc; load template pattern; %将数字特征转化为0、1两个数值表示 for i=1:10 for j=1:25 for k=1:pattern(1,i).num if pattern(1,i).feature(j,k)>0.1 pattern(1,i).feature(j,k)=1; else pattern(1,i).feature(j,k)=0; end end end end [pc_template,pc_data]=pcapro(data); %主成分分析 temp=0; for i=1:10 pattern(1,i).feature=pc_template(:,temp+1:temp+pattern(1,i).num); temp=temp+pattern(1,i).num; end %求协方差矩阵、协方差矩阵的逆矩阵、协方差矩阵的行列式 s_cov=[]; s_inv=[]; s_det=[]; for i=1:10 s_cov(i).data=cov(pattern(1,i).feature'); s_inv(i).data=inv(s_cov(i).data); s_det(i)=det(s_cov(i).data); end %求先验概率 sum=0; pw=[]; %P(wi)---先验概率 for i=1:10 sum=sum+pattern(1,i).num; end for i=1:10 pw(i)=pattern(1,i).num/sum; end %求判别函数 h=[]; %h()---差别函数 mean_data=[]; %mean_data---每类样品特征向量的均值 for i=1:10 mean_data(i).data=mean(pattern(1,i).feature')'; end %判别函数 for i=1:10 h(i)=(pc_data-mean_data(i).data)'*s_inv(i).data*(pc_data-mean_data(i).data)... *(-0.5)+log(pw(i))+log(abs(s_det(i)))*(-0.5); end %求每一类的损失 %---------loss为损失矩阵,大小为10x10--------------------------------------- loss=ones(10)-diag(diag(ones(10))); %diag(ones(10))---取对角线元素,diag(diag(ones(10)))---构建以上面取得的对角线元素为新矩阵的对角线元素,其余元素为0的新的对角线元素。 risk=0; m=[]; for i=1:10 m=loss(i,:); %根据每一类损失的公式,第i类的损失等损失矩阵的第i行与判别函数的列向量相乘 risk(i)=m*h'; end [minval minpos]=min(risk); y=minpos-1; end
标签:10,end,pattern,GUI,识别系统,判别函数,贝叶斯,data From: https://www.cnblogs.com/51matlab/p/17288921.html