Tricks
▪ Early Stopping
▪ Dropout
▪ Stochastic Gradient Descent

1 Early stopping

我们走到最大指的时候我们可以提交stop掉，防止它overfitting。

1.1 How-To

▪ Validation set to select parameters(选择一个参数)
▪ Monitor validation performance（检测变量的表现)
▪ Stop at the highest val perf.（在最大值这停止）

2 Dropout

这个就是使得你创建网络的时候的w少一点。就是在右边里面每一条线都有断掉的概率。
API:

▪ layer.Dropout(rate)
▪ tf.nn.dropout(x, rate)

加了Dropout，就是有0.5的概率使得这一层数值被drop out掉，就是输出为0.
也就是有0.5的概率会断掉这个线。

3 Stochastic Gradient Descent

Stochastic

• not random!
  Deterministic