KL散度（KL-divergence）
直观解释：KL 散度是一种衡量两个分布（比如两条线）之间的匹配程度的方法。
需要解决的问题：已知数据太大，逍遥使用较小的信息表示已知数据。用某种已知分布来表示真实统计数据，这样我们就可以只发送该分布的参数，而无需发送真实统计数据。
KL-divergence的作用：衡量每个近似分布与真实分布之间匹配程度
其中 q(x) 是近似分布，p(x) 是我们想要用 q(x) 匹配的真实分布。直观地说，这衡量的是给定任意分布偏离真实分布的程度。如果两个分布完全匹配，那么
，否则它的取值应该是在 0 到无穷大（inf）之间。KL 散度越小，真实分布与近似分布之间的匹配就越好。