什么是归纳偏置呢?
归纳是指从一些例子中寻找共性、泛化,形成一个较为通用的规则的过程。偏好/偏置是指对模型的偏好。
通俗理解,归纳偏置是从现实生活中观察到的现象中归纳出一定的规则,然后对模型做一定的约束,可以起到选择模型的作用。也就是说,这个规则可以一定程度上当作选择模型的标准,类似与贝叶斯学习中的“先验”知识。
事实上,将 Inductive Bias 翻译成 归纳性偏好 可能更符合我们的理解和认知
归纳性偏好就是从具体的事物和例子中学习到的规律,可以使得学习器具有泛化的能力,可以基于归纳性偏好对新的输入样本做出判断。其实就是根据已有的事物做出的假设。
英文解释:
the inductive bias of a machine learning algorithm refers to additional assumptions, that the learner will use to predict correct outputs for situations that have not been encountered so far.
inductive bias 就是额外的假设,学习器用它来预测没有见过的输入。
参考:
https://blog.csdn.net/qq_39478403/article/details/121107057
https://www.cnblogs.com/qrlozte/p/7069696.html