我们从 Sigmoid 函数的定义出发，逐步推导出这一公式。让我们详细说明这个推导过程。
1. Sigmoid 函数的定义
首先，Sigmoid 函数定义为：
σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1 + e^{-x}} σ(x)=1+e−x1
其中 e e e 是自然常数， x x x 是输入。
2. 求导公式
我们希望对 σ ( x ) \sigma(x) σ(x) 求导，得到 σ ′ ( x ) \sigma'(x) σ′(x)。可以使用链式法则来对这个复合函数求导。
首先，将 Sigmoid 函数的分母记为 f ( x ) = 1 + e − x f(x) = 1 + e^{-x} f(x)=1+e−x，那么可以表示为：
σ ( x ) = 1 f ( x ) \sigma(x) = \frac{1}{f(x)} σ(x)=f(x)1
对这个函数求导，使用商的求导法则，公式为：
d d x ( 1 f ( x ) ) = − f ′ ( x ) f ( x ) 2 \frac{d}{dx} \left( \frac{1}{f(x)} \right) = -\frac{f'(x)}{f(x)^2} dxd(f(x)1)=−f(x)2f′(x)
3. 求导数
接下来，我们需要对 f ( x ) = 1 + e − x f(x) = 1 + e^{-x} f(x)=1+e−x 进行求导。
对 f ( x ) f(x) f(x) 求导得到：
f ′ ( x ) = − e − x f'(x) = -e^{-x} f′(x)=−e−x
将其代入到商的求导法则中：
σ ′ ( x ) = − − e − x ( 1 + e − x ) 2 \sigma'(x) = -\frac{-e^{-x}}{(1 + e^{-x})^2} σ′(x)=−(1+e−x)2−e−x
简化后得：
σ
′
(
x
)
=
e
−
x
(
1
+
e
−
x
)
2
\sigma'(x) = \frac{e^{-x}}{(1 + e^{-x})^2}
σ′(x)=(1+e−x)2e−x
4. 化简表达式
我们希望将这个结果表达为
σ
(
x
)
\sigma(x)
σ(x) 的形式。注意到
σ
(
x
)
=
1
1
+
e
−
x
\sigma(x) = \frac{1}{1 + e^{-x}}
σ(x)=1+e−x1，因此：
1
+
e
−
x
=
1
σ
(
x
)
1 + e^{-x} = \frac{1}{\sigma(x)}
1+e−x=σ(x)1
并且：
e
−
x
=
1
σ
(
x
)
−
1
e^{-x} = \frac{1}{\sigma(x)} - 1
e−x=σ(x)1−1
现在，我们将
σ
(
x
)
\sigma(x)
σ(x) 带入导数公式中。首先，将
σ
(
x
)
\sigma(x)
σ(x) 的表达式代入导数结果：
σ
′
(
x
)
=
e
−
x
(
1
+
e
−
x
)
2
\sigma'(x) = \frac{e^{-x}}{(1 + e^{-x})^2}
σ′(x)=(1+e−x)2e−x
可以写成：
σ
′
(
x
)
=
σ
(
x
)
⋅
(
1
−
σ
(
x
)
)
\sigma'(x) = \sigma(x) \cdot \left(1 - \sigma(x)\right)
σ′(x)=σ(x)⋅(1−σ(x))
5. 结论
因此，Sigmoid 函数的导数
σ
′
(
x
)
\sigma'(x)
σ′(x) 可以写成：
σ
′
(
x
)
=
σ
(
x
)
⋅
(
1
−
σ
(
x
)
)
\sigma'(x) = \sigma(x) \cdot \left(1 - \sigma(x)\right)
σ′(x)=σ(x)⋅(1−σ(x))
这个结果说明了 Sigmoid 函数导数的简洁性质，它与 Sigmoid 函数本身相关。
标签：frac,函数,导数,Sigmoid,求导,对数,sigma From： https://blog.csdn.net/u013172930/article/details/142282056