一、基本概念
(一)、非线性规划数学模型
非线性规划数学模型的一般形式是：
\( \begin{cases} minf(\bold X) \\ \quad h_i(\bold X)=0(i=1,2,\dots,m) \\ \quad g_j(\bold X)\geq 0(j=1,2,\dots,l) \end{cases} \)
其中，\(X=(x_1,x_2,\dots,x_n)^T\)是\(n\)维欧氏空间\(E_n\)中的点。
(二）定义
设\(f(\bold X)\)为定义在\(n\)维欧氏空间\(E_n\)的某一区域\(R\)上的\(n\)元实函数。
1.局部极小点与严格局部极小点
对于\(\bold X^*\in R\),如果存在某个\(\epsilon>0\)，使所有与\(\bold X^*\)的距离小于\(\epsilon\)的\(\bold X \in R\)都有\(f(\bold X)\geq f(\bold X^*)\)，则称\(X^*\)为\(f(\bold X)\)在\(R\)上的局部极小点。
取不等号则为严格局部极小点。
2.全局极小值与严格全局极小值
若存在\(\bold X^* \in R\)，对所有\(X\in R\)都有\(f(\bold X)\geq f(\bold X^*)\)，则称\(X^*\)为\(f(\bold X)\)在\(R\)上的全局极小点。
取不等号则为严格全局极小值。
（三）多元函数极值点存在的条件
1.必要条件
定理1 \(f(\bold X)\)在\(R\)上有连续一阶偏导数，且在点\(\bold X^* \in R\)去的局部极值，则必有：
\[\nabla f(\bold X^*)=(\frac{\partial f(\bold x^*)}{\partial x_1},\frac{\partial f(\bold x^*)}{\partial x_2},\dots,\frac{\partial f(\bold x^*)}{\partial x_n})^T=0 \]梯度\(\nabla f(\bold X)\)的两个重要性质：
（1）\(f(\bold X)\)在某点的梯度必与函数过该点的等值面（等值线）正交
（2）梯度向量的方向是函数值增加最快的方向。
2.二次项
对于\(\bold X=(x_1,x_2,\dots,x_n)^T\)的二次型\(f(\bold X)=X^TAX\)。
（1）判断实二次型正定的充要条件：各阶主子式都大于\(0\)
（2）多元函数的泰勒公式
\[f(X^{(0)}+P)=f(X^{(0)})+\nabla f(X^{(0)})^TP+\frac{1}{2}P^T\nabla^2 f(X^{(0)}+\theta P) \]（3）极小点的充分条件
定理2 若\(\nabla f(\bold X^*)=0\),且\(\nabla^2 f(\bold X^*)\)正定，则该点为严格局部极小点。
黑塞矩阵\(\nabla^2 f(\bold X^*)\)=
此处黑塞矩阵正定->负定，严格局部极小点->严格局部极大点。
（四）凸函数和凹函数
1.定义
凸函数：
设\(f(X)\)为定义在\(n\)维欧氏空间\(E_n\)中某个凸集\(R_c\)上的函数，若对任何实数\(\alpha(0< \alpha <1)\)以及\(R_c\)中的任意两点\(X^{(1)}\)和\(X^{(2)}\)，恒有
\[f(\alpha X^{(1)}+(1-\alpha) X^{(2)}) \leq \alpha f(X^{(1)})+(1-\alpha)f(X^{(2)}) \]则称\(f(X)\)为\(R_c\)上的凸函数。
取不等号为严格凸函数。
2.凸函数性质（省略）
性质1 有限个凸函数的非负线性组合\(\beta_1f_1(X)+\beta_2f_2(X)+\dots+\beta_mf_m(X)\)仍为凸函数
性质2 设f(X)为定义在凸集\(R_c\)上的凸函数，则集合\(S_{\beta}=\{X|X \in R_c,f(X)\leq \beta\}\)是凸集
3.凸函数判定
（1）一阶条件
严格凸函数充要条件：
\[f(X^{(2)})\geq f(X^{(1)})+\nabla f(X^{(1)})^T(X^{(2)}-X^{(1)}) \]（2）二阶条件
设\(R_c\)为\(E_n\)上的开凸集，\(f(X)\)在\(R_c\)上二阶可微，则凸函数的充要条件是：对所有\(X \in R\)，其黑塞矩阵半正定
4.凸函数的极值
定义在凸集上的凸函数，其任一极小值就等于其最小值。他的极小点形成一个凸集。
在这种情况下，\(\nabla f(X)=0\)不仅是极值点存在的必要条件，更是充分条件（充要）。
（五）凸规划
对于一非线性规划式，若\(f(X)\)为凸函数，\(g_j(X)\)均为凹函数（\(-g_j(X)\)为凸函数），则称这种规划为凸规划。
1.凸规划的性质
（1）可行解集为凸集
（2）最优解集为凸集（假设存在）
（3）任何局部最优解也是其全局最优解
（4）若目标函数为严格凸函数，且最优解存在，则最优解唯一。
（六）下降迭代算法
1.定义
对于极小化问题，我们要求由选取的解序列\({X^{(k)}}\)其对应的目标函数值是逐步见效的，即满足：
\[f(X^{(0)})>f(X^{(1)})>\dots>f(X^{(k)})>\dots \]2.下降迭代算法的一般迭代格式
（1）选取某一初始点\(X^{(0)}\)，令\(k:=0\)
（2）确定搜索方向，从\(X^{(k)}\)出发确定搜索方向\(P^{(k)}\)，并检查是否是可行点（约束极值问题）
（3）确定步长，找到
满足
\[f(X^{(k+1)})=f(X^{(k)}+\lambda_k P^{(k)})<f(X^{(k)}) \]其中\(\lambda_k\)为步长因子。
（4）检验新得到的点是否为要求的极小点或近似极小点，否则令\(k:=k+1\)
3.一维搜索的性质
若迭代算法是求以\(\lambda\)为变量的一元函数的极小点\(\lambda_k\)，则称这一过程为（最优）一维搜索/线搜索。
一维搜索在搜索方向上的最优点处满足：该点梯度与该搜索方向正交，即
\[\nabla f(X^{(k+1)})^T P^{(k)}=0 \]