参考SimpleAI这篇帖子：https://view.inews.qq.com/k/20211214A03DKG00
其实这个词已经见到很久了，之前也查了一些东西，但是感觉总是说法不一，而且用法也非常普遍，本文用一些论文使用样例给了一个比较全面的介绍。
简单来说，归纳偏置，就是让算法优先某种解决方案，这种偏好是独立于观测的数据的。好的归纳偏置，会提升算法搜索解的效率（同时不会怎么降低性能），而不好的归纳偏置则会让算法陷入次优解，因为它对算法带来了太强的限制。
我理解着，其实就是加入一种限制，或者说加入一种偏见。举个例子，全连接网络的归纳偏置很轻微，因为它假设所有的单元都可能会有联系；而卷积神经网络加入的就是局部性和平移不变性；循环神经网络则是假设数据具有序列相关性和时序不变性等等，这些都是网络设计者的一种假设或者说偏见。对什么的偏见？当然是对其处理的数据的一种偏见，这就是归纳偏置，而如果这些偏见很好，那么当然可以提升效率。
再说的直白一些，其实就是对所研究问题的一种假设，或者说根据已有的先验知识做的一种归纳，也就是推测，预先让模型知道“这些是正确的”。
No-Free-Lunch 不存在免费午餐理论提出：学习是不可能的，除非有先验知识。通常情况下，我们不知道具体上帝函数的情况，但我们猜测它属于一个比较小的假设类别之中，这种基于先验知识对目标模型的判断就是Inductive bias-归纳误差。归纳误差所做的事情，是将无限可能的目标函数约束在一个有限的假设类别之中，这样，模型的学习才成为可能。否则，深度学习的学习将是毫无原则地掷骰子！
这篇帖子还给出了两个例子：
1数据角度：作者认为某种方式的样本组合也可以产生正常的样本，从而希望模型能够学习到这种组合方式，其实本质上就是一种数据增强，但是这背后是人为地让模型认为了这种组合是对的，因此这便是一种限制，可以称之为归纳偏置。
2算法角度：作者提出一种新的方法，将这种方法赋予模型，那么模型如果表现更好的话，那这种方法就是一个符合实际情况的假设，也算是一个好的归纳偏置。
总之一句话，归纳偏置是作者附加给模型的一种偏见。
标签：偏置,归纳,假设,模型,偏见,算法,理解 From： https://www.cnblogs.com/loveandninenine/p/17118929.html