SciTech-BigDataAIML-KLD(KL散度)：测度比较"两Distribution(概率分布)"的Similarity(接近度)

KLD(Kullback-Leibler Divergence，KL散度): 测度比较两Distribution的Similarity

• AI领域最重要的 Measure Method of Distributions(分布度量方法)
• 简写和全称: KLD(Kullback-Leibler Divergence, KL散度)
• 用途: 测度比较两Distribution的Similarity(
  • 统计应用上, 我们经常需要：
    用一个常用、组件模块化、简单近似的 \(\large Distribution\) $\large f^* $，
    去描述另一个复杂的， \(\large Distribution\) $\large f $ 或 \(\large Observations(观察数据)\) \(\large D\)；
  • 这时,我们需要一个量来衡量我们选择的 \(\large \bm{ Approximated\ Distribution}\) $\large f^* $
    对比原 \(\large Distribution\) \(\large f\) 总共 \(\large Loss\) 多少\(\large \bm{ Information(信息量)}\)。
    这就是KL散度起作用的地方。