最优化-约束优化问题的最优性条件

目录：

1. 等式约束的Kuhn-Tucker一阶必要性条件
2. 等式约束的二阶充分性条件
3. 不等式约束的Fritz-John一阶必要性条件
4. 不等式约束的Kuhn-Tucker一阶必要性条件
5. 一般约束的Kuhn-Tucker一阶必要性条件
6. 一般约束的二阶充分性条件
7. 其他

 一般约束问题

形式：

$$
\begin{cases}
    min\,\,f\left( x \right) ,\,\,x\in R^n\\
    s.t.\,\,\begin{matrix}
    g_i\left( x \right) =0,\,\,j=1,\cdots ,m\\
    h_k\left( x \right) \le 0,\,\,k=1,\cdots ,p\\
\end{matrix}\\
\end{cases}
$$

定义Lagrangian函数
$$
L\left( x,\left\{ \lambda _j \right\} ,\left\{ u_k \right\} \right) =f\left( x \right) +\sum_{j=1}^m{\lambda _jg_j\left( x \right)}+\sum_{k=1}^p{\mu _kh_k\left( x \right)}
$$
Karush-Kuhn-Tucker条件：

$$
\begin{cases}
    \nabla _xL=\nabla _xf\left( x \right) +\sum_{j=1}^m{\lambda _j\nabla g_j\left( x \right) +\sum_{k=1}^p{\mu _k\nabla _kh\left( x \right)}}=0\,\, \left( Stationarity \right)\\
    g_j\left( x \right) =0,j=1,\cdots ,m\\
    h_k\left( x \right) \le 0\,\, \left( Primal\,\,Feasibility\text{，原始可行性} \right)\\
    \mu _k\ge 0\,\, \left( Dual\,\,Feasibility\text{，对偶可行性} \right)\\
    \mu _kh_k\left( x \right) =0,k=1,\cdots ,p\,\, \left( Complementary\,\,Slackness \right)\\
\end{cases}

$$