激活函数
1. 线性激活函数
• 数学表达式：y = x
• 优点：简单，易于理解和实现
• 缺点：不能处理复杂的数据模式，无法引入非线性
2. Sigmoid函数
• 数学表达式：
• 优点：将值映射到0和1之间，输出具有明确的意义（概率）
• 缺点：梯度消失问题，输出不以0为中心
3. Tanh函数
• 数学表达式（双曲正切）：
• 优点：将值映射到-1和1之间，输出以0为中心
• 缺点：仍存在梯度消失问题
4. ReLU函数（Rectified Linear Unit）
• 数学表达式：f(x) = max(0, x)
• 优点：可以缓解梯度消失问题，计算效率高
• 缺点：存在"死ReLU"问题
5. Leaky ReLU函数
• 数学表达式：f(x) = max(0.01x, x)
• 优点：尝试解决"死ReLU"问题
• 缺点：参数可能需要调整
6. Swish函数
• 数学表达式：f(x) = x * sigmoid(x)
• 优点：据称其表现优于ReLU
• 缺点：相比ReLU计算量较大
7. Softmax函数
• 数学表达式：
，其中j从1到k
• 优点：将一组值转换为一组概率值，常用于多类别分类问题的输出层
• 缺点：当类别过多时，计算量较大
损失函数
1. 均方误差(Mean Squared Error, MSE)：
• 这是回归问题中最常用的损失函数。对于n个数据点，MSE为每个数据点 预测值与真实值差的平方的平均值。
• 对于n个数据点，如果真实值为y_i，预测值为ŷ_i，则MSE = (1/n) Σ(y_i - ŷ_i)^2。
2. 均方根误差(Root Mean Squared Error, RMSE)：
• 它是MSE的平方根，用于量化预测误差的标准偏差。
• RMSE是MSE的平方根，即RMSE = sqrt(MSE)。
3. 平均绝对误差(Mean Absolute Error, MAE)：
• 它是每个数据点预测值与真实值差的绝对值的平均值。
• MAE = (1/n) Σ|y_i - ŷ_i|。
4. 交叉熵损失(Cross Entropy Loss)
• 分类问题中最常用的损失函数。对于二分类问题，其形式为二元交叉熵 损失，用于衡量模型预测概率分布与真实分布之间的差距。对于多分类 问题，其形式为多项交叉熵损失。
• 对于二分类问题，如果真实标签为y，预测为p，则二元交叉熵损失为-[y log(p) + (1-y) log(1-p)]。对于多分类问题，如果真实标签为one-hot编码 的向量y，预测为概率分布向量p，则多项交叉熵损失为-Σ(y_i log(p_i))。
5. 对数损失(Log Loss)：
• 对数损失通常用于二分类问题，其实就是二元交叉熵损失的另一种说法。
• 对数损失的表达式与二元交叉熵损失相同，即-[y log(p) + (1-y) log(1 p)]。
6. Hinge损失 (Hinge Loss)：
• Hinge损失通常用于支持向量机和一些线性分类问题。
• 对于分类问题，如果真实标签为y，预测为ŷ，则Hinge损失为max(0, 1 y*ŷ)。
7. Huber损失 (Huber Loss)
• Huber损失是回归问题中的一种损失函数，它在误差小的时候变为平方 误差，误差大的时候变为绝对误差，因此对于异常值具有更好的鲁棒性。
• 对于回归问题，Huber损失定义为：
• 如果|y - ŷ| ≤ δ，则Huber损失为0.5 * (y - ŷ)^2
• 如果|y - ŷ| > δ，则Huber损失为δ * |y - ŷ| - 0.5 * δ^2
• 其中，δ是一个需要调整的参数。
标签：函数,Huber,常见,损失,ReLU,激活,MSE,表达式 From： https://blog.csdn.net/qq_67654130/article/details/143522454