指数族函数
待完善
作者查阅了一些资料,全是公式函数名也陌生,所以这部分一直进行不下去。其实不用怕,只是提出了一类分布,这一类分布遵循着一些性质,具体推导过程甚至可以不了解,直接拿着结论用。通过这些特点你可以根据极大似然估计求损失函数。
表达式
常见形式
\(p(y|\lambda) = \frac{1}{Z(\lambda)}h(x)e^{\phi(\lambda)^TT(y)}\)
变形
令\(g(\lambda) = \frac{1}{Z(\lambda)}\)
得\(p(y|\lambda) = g(\lambda)h(x)e^{\phi(\lambda)^TT(y)}\)
令\(A(\lambda) = \ln Z(\lambda)\)
得\(p(y|\lambda) = h(x)e^{\phi(\lambda)^TT(y) - A(\lambda)}\)
令 \(S(x) = \ln h(x)\) 和 \(A(\lambda) = \ln Z(\lambda)\):
得\(p(y|\lambda) = e^{\phi(\lambda)^TT(y)+S(y) - A(\lambda)}\)
标准形式
标准形式,是将参数\(\lambda\)改写成\(\theta\),即\(\theta = \phi(\lambda)\),得\(\lambda = \phi^{-1}(\theta)\)
\(p(y|\theta) = e^{\theta^TT(y)+S(x) - A(\theta)}\)
其中\(A(\lambda)\)与\(A(\theta)\)不是一个函数