SVI第四部分:提示和技巧¶pyro.ai/examples/svi_part_iv.html导致这一个的三个SVI教程(第一部分, 第二部分,& 第三部分)通过使用Pyro做变分推断所涉及的各个步骤。在这个过程中，我们定义了模型和指南(即，变分分布)，设置了变分目标(特别是埃尔博斯)，以及构造的优化器(pyro.opti

01KL散度Kullback-Leibler(KL)散度，是一种描述一个概率分布\(P\)相对于另一个概率分布\(Q\)的非对称性差异的概念。KL散度是非负的；当且仅当两个分布相同时，它为零。1.1定义对于离散概率分布，\(P\)和\(Q\)的KL散度定义为：\[\text{KL}(P\|Q)=\sum_{\mathbf{x

WorkingContent:1.学到的关于VCL方法的几个点：（1）最小化KL散度=最大化ELBO（EvidenceLowerBound）。tyxe的源代码应该用的就是最大化ELBO，这里loss是由关于ELBO的函数得到的（具体怎么得到的不太知道）。（2）源代码用了Pyro库中的SVI，是一种类。

文章目录0笔记说明1算法收敛性证明2公式导出2.1ELBO+KLDivergence2.2ELBO+JensenInequlity2.3最后的工作3从狭义EM到广义EM4广义EM5总结0笔记说明我书面整理，根

文章目录​​0笔记说明​​​​1背景介绍​​​​1.1频率派​​​​1.2贝叶斯派​​​​2公式推导​​​​3符号修正​​​​4SGVI​​0笔记说明。注意：本笔记主要是