\[\newcommand{\bf}{\mathbf} \newcommand{\d}{\mathrm d} \newcommand{\p}{\part} \newcommand{\D}{\mathrm D} \]
I.极限与连续与一致连续
对于任何“定义域和值域上均有满足正定、对称、三角形不等式的距离函数”的映射，都可以定义极限和连续。
这里的空间可以是一些很抽象的东西，比如说区间上全体划分和代表点构成的 Riemann 和集合，距离被定义为两划分中最粗分段的长度差的绝对值。甚至，可以往空间里强行塞一些诸如无穷之类的概念，通过恰当地定义无穷与其它东西间的距离、和差之类的概念，也可以把趋于无穷的极限兼容。
现在来一些符号表示。对于 \(F:A\to B\)，其在 \(x\to x_0\) 时趋于 \(y\)，如果
- 对于每个 \(\epsilon>0\)，存在 \(\delta\)，使得 \(x_0\) 的 \(\delta\)-邻域中所有元素均映到 \(y\) 的 \(\epsilon\)-邻域中。
然后是一致极限的概念。对于 \(F:(A\times B)\to C\)，其在 \(x\to x_0\) 时一致趋于 \(f(y)\)，如果：
- 对于每个 \(\epsilon>0\)，存在仅与 \(\epsilon\) 有关的 \(U(\epsilon)\)，使得对于一切 \(y\in B\)，使得 \(x_0\) 的 \(U(\epsilon)\)-邻域中所有元素均映到 \(f(y)\) 的 \(\epsilon\)-邻域中。
两极限是否可以换序，依赖于如下的分析：
对于任何定义于某种距离有定义的空间上的函数 \(\bf F(\bf x,\bf y)\)，如果：
- \(\lim\limits_{\bf x\to\bf x_0}\bf F(\bf x,\bf y)=\phi(\bf y)\)，且该极限关于 \(\bf y\) 一致成立。
- \(\lim\limits_{\bf y\to\bf y_0}\bf F(\bf x,\bf y)=\Phi(\bf x)\)。
那么 \(\lim\limits_{\bf y\to\bf y_0}\phi(\bf y)\), \(\lim\limits_{\bf x\to\bf x_0}\Phi(\bf x)\) 存在且相等。
对于任何 \(\epsilon\)，存在仅与 \(\epsilon\) 有关的 \(U(\epsilon)\) 使得对于一切 \(\bf y\) 都有在 \(\bf x_0\) 的 \(U(\epsilon)\)-邻域内，\(\|\bf F(\bf x,\bf y)-\Phi(\bf y)\|<\epsilon\)。
对于任何 \(\epsilon\) 和 \(\bf x_1,\bf x_2\)，存在 \(V(\epsilon,\bf x_1,\bf x_2)\) 使得在 \(\bf y\) 的 \(V(\epsilon,\bf x_1,\bf x_2)\)-邻域内，\(\|\bf F(\bf x_1,\bf y)-\phi(\bf x_1)\|<\epsilon,\|\bf F(x_2,\bf y)-\phi(\bf x_2)\|<\epsilon\)。
对于 \(U(\epsilon)\)-邻域中的 \(\bf x_1,\bf x_2\)，取 \(V(\epsilon,\bf x_1,\bf x_2)\)-邻域中的 \(\bf y\)，则
\[\|\phi(\bf x_1)-\phi(\bf x_2)\| \\\leq\|\phi(\bf x_1)-\bf F(\bf x_1,\bf y)\|+\|\bf F(\bf x_1,\bf y)-\Phi(\bf y)\|+\|\phi(\bf x_2)-\bf F(\bf x_2,\bf y)\|+\|\bf F(\bf x_2,\bf y)-\Phi(\bf y)\| \\\leq4\epsilon \]这表明其满足 Cauchy 引理，于是有 \(\lim\limits_{\bf x\to\bf x_0}\phi(\bf x)\) 存在，可设之为 \(\bf A\)。于是，对于 \(\epsilon\)，取 \(U(\epsilon)\) 中的 \(\bf x_1\)，则有 \(\|\phi(\bf x_1)-\bf A\|\leq4\epsilon\)。
而，取定 \(U(\epsilon)\)-邻域中的 \(\bf x_1\)，考虑 \(V(\epsilon,\bf x_1)\) 邻域中的 \(\bf y\)，则
\[\|\Phi(\bf y)-\bf A\| \\\leq\|\Phi(\bf y)-\bf F(\bf x_1,\bf y)\|+\|\bf F(\bf x_1,\bf y)-\phi(\bf x_1)\|+\|\phi(\bf x_1)-\bf A\| \\\leq\epsilon+\epsilon+4\epsilon \\\leq6\epsilon \]那么 \(\lim\limits_{\bf y\to\bf y_0}\Phi(\bf y)=A=\lim\limits_{\bf x\to\bf x_0}\phi(\bf x)\)，也即两极限可以换序。
有界闭集上连续函数必然一致连续，因此视情况而定一致连续的条件也有可能退化为连续。
II.同阶
认为当 \(x\to x_0\) 时，\(f(x)=O(g(x))\)，如果存在 \(x_0\) 的邻域以及 \(0<A<B\)，使得 \(A\|g(x)\|\leq \|f(x)\|\leq B\|g(x)\|\)。
存在不牛的教材认为必须得 \(\lim\limits_{x\to x_0}\dfrac{\|f\|}{\|g\|}=C\)；但是这会导致若干东西之间无法比较，而这是不牛的。
认为 \(f=o(g)\)，如果对于任意 \(\epsilon\) 都存在 \(x_0\) 的邻域使得 \(\|f\|\leq\epsilon\|g\|\)。
阶的定义仍然与基无关。
几种常用的“标准”阶，为 \(\|x\|^k\) 之类的。
所有的范数间彼此同阶。
III.微分
微分 \(\D f(x_0)(x)\)，是满足 \(f(x_0+x)=f(x)+\D f(x_0)(x)+o(\|x\|)\) 的、在第二维上线性的函数。
因为线性函数就仅仅是满足 \(\lambda L(x)=L(\lambda x),L(x)+L(y)=L(x+y)\) 的函数，所以微分的定义与基无关。
但是，微分的维数太高，人类无法准确地描述它。为了刻画它，我们尝试在某条直线上定义之。
沿着向量 \(v\) 的导数，是 \(\lim\limits_{t\to0}\dfrac{f(x_0+tv)-f(x_0)}t\)。仅当 \(v\) 是单位向量时，其可以被称作方向 \(v\) 的方向导数，可以记作 \(\p_vf,\dfrac\p{\p v}f\) 之类各种说法。
在微分存在时，方向导数有着很好的性质，比如说 \(\p_vf(x_0)=\D f(x_0)(v)\) 之类的。事实上，这个性质不仅对于方向导数生效，对于沿向量导数也是有效的。但是，沿向量导数往往没有类似于 \(\dfrac\p{\p v}f\) 之类简洁的符号表达，这是因为向量长度乘以 \(\lambda\)，沿向量导数也会乘以 \(\lambda\)，与这个“分数”形式的式子显得有些格格不入。相反，一维的时候，诸如 \(\dfrac{\d y}{\d x}\) 之类的定义，其实是 \(\dfrac{\Delta y}{\Delta x}\) 趋于 \(0\) 时的结果，\(x\) 这个东西确确实实是在分母上的，因此 \(\dfrac{\d y}{\d(\lambda x)}\) 之类的说法在一维时是合法的；但是在高维时，类似的说法是不存在的。
方向导数也是不依赖坐标系而独立存在的。——尽管在坐标系下，方向导数可能有着更牛的某些性质，更简单的刻画之类的。
线性函数总是可以用任一组基底处的值来唯一刻画。这其中，如果我们特意选取单位正交基，那么就有着如下优雅的性质：
- 令 \(\part_i\) 为 \(f\) 沿着第 \(i\) 个基底向量的导数（这种导数被称作 偏导数。偏导数仅在基底确定时有定义。视情况而定，可能有 \(\p_{x^i}\)，\(\dfrac{\p}{\p x^i}\) 之类的记法。）
- 则，对于 \(\bf x=\sum\xi_i\bf e_i\) 的场合，有 \(\D f(\bf x_0)(\bf x)=\sum\limits_{i=1}^n\xi_i\p_i(\bf x_0)\)。
在值域是一维的场合，有对应的梯度向量 \(\nabla f(x_0)=\sum\p_i(x_0)\bf e_i\)。梯度向量有着 \(L(\bf x_0)(\bf x)=\nabla f(x_0)\cdot\bf x\) 的优秀性质。在梯度非零时，梯度方向是函数值变化最剧烈的方向。
梯度本身其实亦是与坐标系无关的，因为任意线性函数都可以被转为与某一向量的内积，这一向量即为梯度。然而，具体对梯度的计算还是在坐标系下进行的。
在值域一维的情形下，梯度可以完美刻画微分。值域高维的情况下，使用 Jacobi 矩阵来刻画微分。
Jacobi 矩阵是在对值域和定义域同时建立坐标系后才有定义。对值域正交坐标系刻画后，\(\bf F(\bf x)\) 就被变成了若干个 \(F_i(\bf x)\) 构成的列向量。对每个列向量分开求偏导数，最终得到 Jacobi 矩阵
\[JF(\bf x_0)=\begin{bmatrix}\p_1F_1(\bf x_0)&\p_2F_1(\bf x_0)&\dots\\\p_1 F_2(\bf x_0)&\p_2F_2(\bf x_0)&\dots\\\vdots&\vdots&\ddots\end{bmatrix} \]Jacobi 矩阵是 \(n\times m\) 矩阵，其中 \(n\) 是值域维数，\(m\) 是定义域维数。值域一维时，Jacobi 矩阵是行向量，其实就是梯度的转置。定义域一维时，Jacobi 矩阵是列向量，其实对应着“高维导数”，即向量导数的概念；值域、定义域均只有一维时，就是普通的一维导数。
值域是高维时，偏导是列向量，Jacobi 矩阵是偏导数向量的拼接。
由 Jacobi 矩阵可以直接刻画微分，即 \(L(\bf x_0)(\bf x)=JF(\bf x_0)\bf x\)，其中后者是直接的矩阵乘法，直接乘出来就得到微分（的向量表示）。回到微分的定义式，便有 \(F(\bf x_0+\bf x)=F(\bf x_0)+JF(\bf x_0)\bf x+o(\|\bf x\|)\)；如果是梯度，则有 \(f(\bf x_0+\bf x)=f(\bf x_0)+\nabla f(\bf x_0)\cdot\bf x+o(\|\bf x\|)=f(\bf x_0)+\nabla f(\bf x_0)\bf x^T+o(\|\bf x\|)\)。
微分的定义式比较难以应用。有微分的存在性定理，即如果每一维偏导数均存在，且所有偏导数均连续（注意这里是连续而非偏连续），则微分必然存在；但是反之不亦然，即不存在连续偏导数则微分也可能存在。但是，如果偏导数不存在，则微分必然不存在。
特别地，多元函数本身就可以将每一维看作一个线性维度，不同的维度被类似于笛卡尔积一样的东西组合在一起，其实本质上也是一种坐标系展开罢了。不同的是，这里的坐标系是“内嵌”于函数定义域中的，不太能够随意变换。因此，下一节中，我们将使用函数嵌套的思想，来处理这种内嵌坐标系的变换。
IV.坐标系变动与函数嵌套
首先思考同一个线性空间下的坐标系变换。线性空间下坐标系变换可以用矩阵 \(A\) 刻画，事实上有 \(J'=JA\)。
更多的其实是非线性的变换，比如说 \(\bf y=\bf F(\bf x)\)，\(\bf z=\bf G(\bf y)\)。这时，通过一些推导，我们可以得到 \(\D\bf G(\bf F(\bf x_0))(\bf x)=\D\bf G(\bf y_0)\circ\D\bf F(\bf x_0)(\bf x)=\D\bf G(\bf y_0)(\D\bf F(\bf x_0)(\bf x))\)。或者，经历一些恼人的省略后，我们得到 \(\D\bf G(\bf F)=\D\bf G\circ\D\bf F\)。如何展开这一坨东西可以参考本人之前的作品。
比如说，我们来求偏导。
\[\dfrac{\p}{\p x_i}\bf G(\bf F(\bf x_0)) \\=\D\bf G(\bf y_0)(\dfrac\p{\p x_i}\bf F(\bf x_0)) \\=J\bf G(\bf y_0)\dfrac\p{\p x_i}\bf F(\bf x_0) \\=\sum\left(\dfrac\p{\p x_i}\bf F(\bf x_0)\right)_j\dfrac{\p}{\p y_j}\bf G(\bf y_0) \\=\sum\dfrac{\p y_j}{\p x_i}\dfrac{\p}{\p y_j}\bf G(\bf y_0) \]一种思考方式是，\(\bf G\) 的线性近似，其实是所有的 \(\bf y_i\) 方向按照 \(\p_{\bf y_i}\bf G\) 的系数的线性组合；现在要对 \(\bf x\) 对应的基底处理，就可以先做一遍线性近似，展成各个 \(\bf y_i\)，然后再对 \(\bf y_i\) 分开在 \(\bf x\) 的每一项处理，即得上式。
写成矩阵的形式就是 \(JG(F)=JG\times JF\)。
标签：bf,天国,导数,epsilon,此处,phi,dfrac,向量 From： https://www.cnblogs.com/Troverld/p/18131348