▪ MSE
▪ Cross Entropy Loss(针对分类问题)
▪ Hinge Loss

1 MSE

一般这个N都会取一个banch。或者取到一个banch*类别个数b

这里有三种求MSE的方法：

loss1=tf.reduce_mean(tf.squaare(y-out))
loss2=tf.squre(tf.norm(y-out))/(banch*类别个数b)
loss3=tf.reduce_mean(tf.losses.MSE(y,out))

2 Entropy

这是一个专门针对二分类求误差的

就是一个东西熵越小，信息量越大，也就是惊喜度最大

对于上面的例子[0.25,0.25,0.25,0.25]这四个求的值是很大的，因为没有什么惊喜度。
对于[0.01,0.01,0.01,0.97]这个惊喜度是最高的