克里金代理模型Kriging

Kriging笔记_代理模型

由于 Kriging 模型不仅能对未知点的适应值进行预测，还能对其预测的不确定性进行估计。因此，其被广泛应用于代理模型辅助进化算法中，以解决昂贵单目标或多目标优化问题。使用下面的公式来估计未知点 x 的适应值：(均值+正态分布求解适应度值) y ( x ) = μ + ε ( x ) y(x) = \mu + \varepsilon (x) y(x)=μ+ε(x)

μ 是随机过程的均值；ε(x)是均值为零和方差为 σ 2 的正态分布(N (0; σ 2 ))。x 有 d 个变量，x=(x1,…,xd)。对于 d 维空间中的任何 x 和 x’，r[ε(x), ε(x’)]是ε(x) 和 ε(x’)之间的相关函数。 r [ ε ( x ) , ε ( x ′ ) ] = exp ⁡ ( − ∑ i = 1 d θ i ∣ x i − x i ′ ∣ p i ) r[\varepsilon (x),\varepsilon (x')] = \exp ( - \sum\limits_{i = 1}^d {{\theta _i}} |{x_i} - {x_{i'}}{|^{{p_i}}}) r[ε(x),ε(x′)]=exp(−i=1∑d​θi​∣xi​−xi′​∣pi​)

式中，1≤ pi ≤2 是影响 y(x)在 x处光滑性的参数；参数 θi 可衡量 xi 对于 y(x)的重要程度(也就是每个维度的权重)。

对于 Nt 个包含输入和输出的训练数据集(X, y)，超参数 μ、σ、θ1,…, θd、p1,…,pd 可以通过最大化似然函数来求解： 1 ( 2 π σ 2 ) N t / 2 det ⁡ ( R ) exp ⁡ [ − ( y − μ 1 ) T R − 1 ( y − μ 1 ) 2 σ 2 ] {1 \over {{{(2\pi {\sigma ^2})}^{{N_{t/2}}}}\sqrt {\det (R)} }}\exp [ - {{{{(y - \mu 1)}^{\rm{T}}}{R^{ - 1}}(y - \mu 1)} \over {2{\sigma ^2}}}] (2πσ2)Nt/2​det(R) ​1​exp[−2σ2(y−μ1)TR−1(y−μ1)​]

式中，X 是一个 Nt×d 维的输入矩阵；y 是一个 Nt×1 维的输出矩阵；R 是一个 Nt × Nt 维的相关矩阵， 1 是一个 Nt 维的单位向量。

μ 和 σ 2 的值可以通过最大化似然函数来求解: μ ^ = 1 T R − 1 y 1 T R − 1 1 \hat \mu = {{{1^{\rm{T}}}{R^{ - 1}}y} \over {{1^{\rm{T}}}{R^{ - 1}}1}} μ^​=1TR−111TR−1y​ σ ^ 2 = ( y − 1 μ ) T R − 1 ( y − 1 μ ^ ) N t {\hat \sigma ^2} = {{{{({\bf{y}} - {\bf{1}}\mu )}^{\rm{T}}}{R^{ - 1}}({\bf{y}} - {\bf{1}}\hat \mu )} \over {{N_t}}} σ^2=Nt​(y−1μ)TR−1(y−1μ^​)​

把 μ ^ \hat \mu μ^​和 σ ^ 2 {\hat \sigma ^2} σ^2带入似然函数中可以消除未知参数 μ 和 σ 2似然函数只有两个未知参数 θi 和 pi（i = 1, . . . , d）。最大化似然函数可以得到 θ ^ i {\hat \theta _i} θ^i​和 p ^ i {\hat p_i} p^​i​

根据 μ ^ \hat \mu μ^​， σ ^ 2 {\hat \sigma ^2} σ^2， θ ^ i {\hat \theta _i} θ^i​， p ^ i {\hat p_i} p^​i​可以得到未知点x的预测分布。 y ^ ( x ) = μ ^ + r ′ R − 1 ( y − 1 μ ^ ) \hat y(x) = \hat \mu + {r^\prime }{R^{ - 1}}(y - 1\hat \mu ) y^​(x)=μ^​+r′R−1(y−1μ^​) s 2 ( x ) = σ 2 [ 1 − r ′ R − 1 r + ( 1 − 1 ′ R − 1 r ) 2 1 ′ R − 1 1 ] {s^2}(x) = {\sigma ^2}[1 - {r^\prime }{R^{ - 1}}r + {{{{(1 - {1^\prime }{R^{ - 1}}r)}^2}} \over {{1^\prime }{R^{ - 1}}1}}] s2(x)=σ2[1−r′R−1r+1′R−11(1−1′R−1r)2​]

式中， y ^ \hat y y^​和 s 2 是未知点的 x 的预测适应值和预测方差(也就是与测试和相关程度)。