首页 > 其他分享 >KL散度和JS散度

KL散度和JS散度

时间:2022-08-15 16:55:24浏览次数:56  
标签:frac log sum 散度 KL JS

KL散度(相对熵)

\(KL(P||Q)=\sum{p(x)}log\frac{p(x)}{q(x)}\)
\(KL(Q||P)=\sum{q(x)}log\frac{q(x)}{p(x)}\)
用来衡量两个分布之间的差异,交叉熵\(-p(x)log(q(x))\)减去信息熵\(-p(x)log(p(x))\)
由于KL散度的非对称性,故更加方便使用的JS散度诞生

JS散度

设\(M=\frac{1}{2}(P+Q)\)
则有
\begin{eqnarray}JSD(P||Q) &=& \frac{1}{2}KL(P||M)+\frac{1}{2}KL(Q||M) \nonumber
\\ &=&\frac{1}{2}\sum{p(x)\log{(\frac{2p(x)}{p(x)+q(x)})}}+\frac{1}{2}\sum{q(x)\log{(\frac{2q(x)}{p(x)+q(x)})}} \nonumber\\
&=&\frac{1}{2}\sum{p(x)\log{(\frac{p(x)}{p(x)+q(x)})}}+\frac{1}{2}\sum{q(x)\log{(\frac{q(x)}{p(x)+q(x)})}} + \log{2}
\nonumber\end{eqnarray}
当分布P和分布Q完全不重叠时,JS散度为常数log2,梯度为0,无法反向传播

标签:frac,log,sum,散度,KL,JS
From: https://www.cnblogs.com/ashyLoveLoli/p/16587699.html

相关文章

  • KL15、KL30、Wakeup Line、KL50(ACC)的区别
    作为一名测试小白,学习测试规范时发现了一些ECU针脚定义不是很明确,经过大佬们指点,总结如下:首先我们来看大佬给的参考图:需要注意的是,KL50就是我们常见的ACC,在电动汽车中不......
  • jsp_概念和原理
    jsp_概念概念:javaserverPages:java服务器端页面可以理解为:一个特殊的页面其中既可以指定定义html标签又可以定义java代码用于简化书写jsp和HTMl的区别HTML......
  • JSP_指令_概述和JSP_指令_page指令
    指令:作用:用于配置JSP页面,导入资源文件格式:<%@指令名称 属性名1= 属性值1 属性名2= 属性值2...%>分类:page: 配置JSP页面的......
  • iOS/Android原生App与js优雅交互
    无论Android还是iOS,Webview都具有与js交互的能力,这使得我们可以利用混合开发(原生+h5)满足相对复杂的业务需求。但是由于Android和iOS系统的差异,原生App在与js交互时,js需要......
  • js中各种事件监听
    点击事件$("#sydcdel_"+sysTime).click(function(){//删除的时候校验是否有已投入的相关信息,如果有则不能直接删除varpihao......
  • MVC_jsp演变历史以及MVC详解
    MVC_jsp演变历史jsp演变历史1、早期只有servlet,只能使用response输出标签数据,非常麻烦2、后来有jsp,简化了Servlet的开发,如果过度使用jsp,在jsp中即写大量的java......
  • HTML 引用 tracking.js 调取摄像头取人脸 Demo
    <!doctypehtml><html><head><metacharset="utf-8"><title>基于tracking的取人脸</title><scriptsrc="static/js/util/jquery.min.js"></script>......
  • json.tool模块
    [root@mysql-host1~]#cat1.json{"version":"0.1","database":"app01","table":"tb1","type":"insert","ts":1659678099,"time_zone":"Asia/Shanghai",&q......
  • MVC_jsp演变历史和详解
    MVC_jsp演变历史MVC: 开发模式(ModelViewController)1.jsp演变历史1.早期只有Servlet,只能使用response输出标签数据,非常麻烦2.后来又jsp,简化了Se......
  • JSP注释和JSP内置对象
    注释1、html注释<!---->:只能注释html代码片段2、jsp注释<%----%>:可以注释所有       内置对象在jsp页面中不需要......