KL散度(Kullback-LeiblerDivergence)是用来度量两个概率分布相似度的指标，是经典损失函数，应用于PPO等算法参数估计设计。KL散度的定义假设对随机变量\(\xi\)，存在两个概率分布P和Q。如果\(\xi\)为离散变量，则定义从P到Q的KL散度为：\[D_{KL}(P||Q)=\sum_iP(i)ln(\frac{P(i)}{Q(i)}