发现结果不好时，可以按下图顺序来调整
先考虑Loss on training data，如果large,考虑model bias和optimization
Model Bias
model太简单，导致最优解不在空间里，只能找到小空间的最优解，犹如大海捞针，针却不在大海
这时我们要redesign一下model，更复杂一些，更大的弹性，增加输入的feature，可以用deep learning
Optimization
可能卡在局部最优解，而不是全局最优解，犹如大海捞针，针确实在大海，但捞不上
那么如何判断是model bisa还是optimization出了问题
在testing data中，20层好于50层，不能说明它是过拟合。在training data中，20层好于56层，说明是optimization不好，而不是弹性不够的原因，20层能做到的事56层一定能做到，如果56层optimization成功的话，得到的结果比20层是要好的。
接下来考虑loss on training data小但loss on testing data大的问题，可能是遇到了overfitting（可以通过增加训练集数据来解决）
可以用data augmentation方法，即通过自己对问题的理解来创造一些资料，但是不能随便做（如把影像倒置），要有道理
或者限制一下model的弹性：比如确定了就是二次曲线；或者在深度学习中可以使用以下的方法
把training data分为training set和validation set时候，可以使用如下方法
标签：training,20,56,General,optimization,model,data,Guide From： https://www.cnblogs.com/ybx-tih/p/18037093