文章目录
在神经网络中，损失函数（Loss Function）扮演着至关重要的角色，它用于衡量模型预测结果与实际标签之间的差异。选择适当的损失函数对于训练一个高效且准确的神经网络至关重要。
一、回归问题的损失函数
1.均方误差（Mean Squared Error, MSE）
定义：MSE是回归问题中最常用的损失函数之一，它计算的是预测值与实际值之间差值的平方的平均值。
公式：对于批量样本，MSE的公式为：
M
S
E
=
1
N
∑
i
=
1
N
x
i
(
y
t
u
r
e
,
i
−
y
p
r
e
d
,
i
)
2
MSE= \frac{1}{N}\sum_{i=1}^{N} x_i(y_{ture,i}-y_{pred,i})^2
MSE=N1i=1∑Nxi(yture,i−ypred,i)2
其中，N 是样本数，
y
t
u
r
e
,
i
y_{ture,i}
yture,i是第 i 个样本的真实标签值，
y
p
r
e
d
,
i
y_{pred,i}
ypred,i是第 i 个样本的模型预测结果。
特点：MSE对误差较大的点惩罚较重，因此当预测值与实际值相差较大时，损失值会迅速增大。
2.平均绝对误差（Mean Absolute Error, MAE）
定义：MAE计算的是预测值与实际值之间差值的绝对值的平均值。
公式：对于批量样本，MAE的公式为：
M
A
E
=
1
N
∑
i
=
1
N
x
i
∣
y
t
u
r
e
,
i
−
y
p
r
e
d
,
i
∣
MAE= \frac{1}{N}\sum_{i=1}^{N} x_i|y_{ture,i}-y_{pred,i}|
MAE=N1i=1∑Nxi∣yture,i−ypred,i∣
特点：与MSE相比，MAE对异常值（outliers）的鲁棒性更强，因为它使用的是绝对值而非平方。
二、分类问题的损失函数
1.0-1损失函数（Zero-One Loss Function）
定义：0-1损失函数直接对应分类判断错误的个数，即当预测值（f）与目标值（y）不相等时，损失值为1；否则，损失值为0。
公式：在分类问题中，，可以表示为：
L
0
−
1
(
f
,
y
)
=
1
f
≠
y
L_{0-1}(f,y)=1_{f≠y}
L0−1(f,y)=1f=y
其中，
1
f
≠
y
1_{f≠y}
1f=y是一个指示函数，当 f≠y时取值为1，否则为0。
特点:0-1损失函数直接反映了分类错误的数量，因此非常直观,且对预测结果的要求非常严苛。
2.交叉熵损失（Cross-Entropy Loss）
定义：交叉熵损失函数是衡量两个概率分布之间差异的一种方法，常用于分类问题。
公式：对于二分类问题，交叉熵损失可以简化为：
l
o
s
s
=
1
N
∑
i
=
1
N
x
i
[
y
i
log
(
a
i
)
+
(
1
−
y
i
)
log
(
1
−
a
i
)
]
loss=\frac{1}{N}\sum_{i=1}^{N} x_i[y_i\log(a_i)+(1-y_i)\log(1-a_i)]
loss=N1i=1∑Nxi[yilog(ai)+(1−yi)log(1−ai)]
其中，
y
i
y_i
yi 是第 i 个样本的真实标签（0或1），
a
i
a_i
ai是模型预测该样本为正类的概率。
特点：交叉熵损失函数对预测概率的微小变化非常敏感，尤其当真实标签的概率接近0或1时。
3.合页损失（Hinge Loss）
定义：用于支持向量机（SVM）中，特别是用于“最大间隔（max-margin）”分类。其目标在于使分类器更专注于整体的分类误差，同时保持样本与分类超平面之间的一定间隔，这有助于提升模型的泛化能力。
公式：在二分类情况下，合页损失的公式通常表示为：
L
(
y
)
=
m
a
x
(
0
,
1
−
t
∗
y
)
L(y)=max(0,1−t*y)
L(y)=max(0,1−t∗y)
其中，y 是预测值（通常在SVM中，预测值是样本点到分类超平面的距离或该距离的某种变换），t 是目标值（对于二分类问题，通常为+1或-1）。这个公式的含义是，当样本被正确分类且其距离分类超平面的距离大于或等于1时，损失为0；否则，损失为 1−t⋅y，即样本点到分类超平面的距离与1之间的差值。
特点：合页损失鼓励分类器在正确分类样本的同时，使样本与分类超平面之间保持一定的间隔，这有助于提高模型的泛化能力，对噪声和异常值较为敏感，计算复杂度可能较高，特别是在大规模数据集上。
三、总结
在神经网络的训练过程中，损失函数的选择取决于具体的任务和数据特点。例如，在回归任务中，MSE和MAE是常用的损失函数；而在分类任务中，交叉熵损失函数则更为常见。此外，还可以根据实际需求对损失函数进行组合或改进，以达到更好的训练效果。
标签：样本,函数,分类,损失,神经网络,MAE,MSE From： https://blog.csdn.net/2301_77698138/article/details/142220442