超参数选择方法

(个人学习所用，内容来源于网络，侵权删)

超参数选择方法

• 猜测和检查

根据直觉选择一个超参数，看是否有效，持续进行。

• 网格搜索

设置一定范围均匀分布的一组值，挨个尝试。

• 随机搜索

让计算机随机挑选一组值。

• 贝叶斯优化

使用像MATLAB的bayesopt之类的工具来自动选择最佳参数，然后你会发现贝叶斯优化比你的机器学习算法有更多的超参数，你变得沮丧，然后回头使用猜测和检查或网格搜索。

• 在有一个良好的初始猜测的前提下进行局部优化

这就是MITIE的方法，它使用BOBYQA算法，并有一个精心选择的起始点。由于BOBYQA只寻找最近的局部最优解，所以这个方法是否成功很大程度上取决于是否有一个好的起点。在MITIE的情况下，我们知道一个好的起点，但这不是一个普遍的解决方案，因为通常你不会知道好的起点在哪里。从好的方面来说，这种方法非常适合寻找局部最优解。