在约束最优化问题中,常常利用拉格朗日对偶性(Lagrangeduality)将原始问题
转换为对偶问题,通过解对偶问题而得到原始问题的解。该方法应用在许多统计学习
方法中,例如,最大熵模型与支持向量机。这里简要叙述拉格朗日对偶性的主要概念
和结果。这里就不解释了,没有看书懂的快,甚至没有基础会讲糊涂的,直接把书搬上来了方便大家看原理,网上的解释质量不一,还是看书上的吧。
一、原始问题
二、对偶问题
三、原问题和对偶问题的关系
总结
通过求解原问题的对偶问题优点有:
-
对偶问题将原始问题中的约束转为了对偶问题中的等式约束
-
方便核函数的引入
-
改变了问题的复杂度。由求特征向量w转化为求比例系数a,在原始问题下,求解的复杂度与样本的维度有关,即w的维度。在对偶问题下,只与样本数量有关。