在深度学习实验中遇到一个问题就是虽然loss有变化，但是在验证集中准确率一直没变，
且值接近你的验证集的正负样本比例。
这是因为，在模型中某一个位置使用看ReLU激活函数，导致值全都变换到了 非负数，再最后用sigmoid的时候全是>0.5的结果。
还有一种情况就是loss一直不变，这类情况说明反向传播失败或者梯度哪里有问题
标签：loss,训练,验证,模型,学习,深度,不变 From： https://www.cnblogs.com/chaosliang/p/17517193.html
在深度学习实验中遇到一个问题就是虽然loss有变化，但是在验证集中准确率一直没变，
且值接近你的验证集的正负样本比例。
这是因为，在模型中某一个位置使用看ReLU激活函数，导致值全都变换到了 非负数，再最后用sigmoid的时候全是>0.5的结果。
还有一种情况就是loss一直不变，这类情况说明反向传播失败或者梯度哪里有问题
标签：loss,训练,验证,模型,学习,深度,不变 From： https://www.cnblogs.com/chaosliang/p/17517193.html