神经网络章节感知机部分 误分类点到线性分割超平面的距离公式 解释说明

公式 8-4 的内容如下：
S = − 1 ∣ ∣ w ∣ ∣ y i ( w ⋅ x i + b ) S = -\frac{1}{||w||} y_i (w \cdot x_i + b) S=−∣∣w∣∣1​yi​(w⋅xi​+b)

公式 8-4 的详细解释：

该公式描述了在感知机算法中，误分类样本到超平面的距离，其中：

• w w w 是权重向量。
• b b b 是偏置项。
• x i x_i xi​ 是误分类的样本点。
• y i y_i yi​ 是样本点 x i x_i xi​ 的标签，取值为 + 1 +1 +1 或 − 1 -1 −1。
• ∣ ∣ w ∣ ∣ ||w|| ∣∣w∣∣ 是权重向量 w w w 的欧几里得长度（L2 范数）。
• w ⋅ x i + b w \cdot x_i + b w⋅xi​+b 是点 x i x_i xi​ 相对于超平面的距离（未标准化的带符号距离）。

解释步骤：

1. y i ( w ⋅ x i + b ) y_i (w \cdot x_i + b) yi​(w⋅xi​+b)：

   • 这个部分代表样本 x i x_i xi​ 的带符号的距离，它根据标签 y i y_i yi​ 来调整符号。
   • 如果样本 x i x_i xi​ 被正确分类，那么 y i ( w ⋅ x i + b ) > 0 y_i (w \cdot x_i + b) > 0 yi​(w⋅xi​+b)>0，否则 y i ( w ⋅ x i + b ) < 0 y_i (w \cdot x_i + b) < 0 yi​(w⋅xi​+b)<0 表示该点被误分类。
   • 这是一个带符号的距离，因为它不仅给出点到超平面的距离，还表明该点是否在分类超平面的正确侧。

2. 误分类样本的符号：

   • 对于误分类的点， y i ( w ⋅ x i + b ) y_i (w \cdot x_i + b) yi​(w⋅xi​+b) 会小于 0。这意味着公式 8-4 中的负号 − 1 ∣ ∣ w ∣ ∣ -\frac{1}{||w||} −∣∣w∣∣1​ 将使最终结果变成正值，从而表示点到超平面的绝对距离，而不是带符号的距离。

3. 1 ∣ ∣ w ∣ ∣ \frac{1}{||w||} ∣∣w∣∣1​：

   • 这个部分用于标准化距离。由于 w w w 是权重向量，它控制着超平面的方向和大小。通过除以 ∣ ∣ w ∣ ∣ ||w|| ∣∣w∣∣，我们确保计算的是点 x i x_i xi​ 到超平面的垂直距离，而不是其他斜向的距离。
   • 换句话说，这个标准化步骤将未标准化的点积 w ⋅ x i + b w \cdot x_i + b w⋅xi​+b 转换为真实的几何距离。

4. 负号的作用：

   • 负号 − 1 ∣ ∣ w ∣ ∣ -\frac{1}{||w||} −∣∣w∣∣1​ 的作用是为了将误分类样本的签名距离转为正值，因为 y i ( w ⋅ x i + b ) y_i (w \cdot x_i + b) yi​(w⋅xi​+b) 对于误分类点是负的（因为它在错误的一侧）。通过负号，最终计算出的距离是非负的，表示误分类样本到超平面的实际距离。

几何解释：

• 在感知机模型中，超平面 w ⋅ x + b = 0 w \cdot x + b = 0 w⋅x+b=0 用于分隔不同类别的数据点。对于正确分类的点， y i ( w ⋅ x i + b ) y_i (w \cdot x_i + b) yi​(w⋅xi​+b) 应该是正值，表示该点在超平面的正确一侧。对于误分类的点， y i ( w ⋅ x i + b ) y_i (w \cdot x_i + b) yi​(w⋅xi​+b) 是负值，表示该点在超平面的错误一侧。

• 公式 8-4 计算的是这些误分类样本到超平面的垂直距离。我们需要将误分类样本“推回”到超平面的另一侧，这个距离表示了模型需要调整的程度。

举例说明：

假设我们有一个误分类样本 x i x_i xi​，其标签为 y i = 1 y_i = 1 yi​=1，且 w ⋅ x i + b = − 2 w \cdot x_i + b = -2 w⋅xi​+b=−2。那么根据公式 8-4，误分类样本到超平面的距离为：
S = − 1 ∣ ∣ w ∣ ∣ × 1 × ( − 2 ) = 2 ∣ ∣ w ∣ ∣ S = -\frac{1}{||w||} \times 1 \times (-2) = \frac{2}{||w||} S=−∣∣w∣∣1​×1×(−2)=∣∣w∣∣2​

这个结果表示样本到超平面的距离是 2 ∣ ∣ w ∣ ∣ \frac{2}{||w||} ∣∣w∣∣2​。这里，负号起到了反转作用，使得结果为正，表示几何意义上的绝对距离。

总结：

公式 8-4 表示的是误分类样本到分类超平面的垂直距离，该距离的计算通过标准化（除以 ∣ ∣ w ∣ ∣ ||w|| ∣∣w∣∣）来确保结果是垂直距离。负号用于将误分类样本的带符号距离转换为正值，表示真实的几何距离。

这个公式对理解感知机训练和误分类样本的调整至关重要，因为它为模型提供了优化的方向和大小。