归纳偏置（Inductive Bias）

在transformer利用到计算机视觉领域中后，相关文章中反复强调Inductive bias.

本文仅是自己的理解记录。如有错误，还请指正。

在机器学习中，很多学习算法经常会对学习的问题做一些假设，这些假设就称为归纳偏置(Inductive bias).比如在最近邻分类器中，我们会假设在特征空间中，一个小的局部区域中的大部分样本属于同一类。在朴素贝叶斯分类器中，我们会假设每个特征的条件概率是互相独立的。在stackoverflow上的一个解释：Every machine learning algorithm with any ability to generalize beyond the training data that it sees has some type of inductive bias. This is the assumptions made by the model to learn the target function and to generalize beyond training data.For example in linear regression the model assumes that the output or dependent variable is related to independent variable linearly (in the weights).This is inductive bias in the model

在CNN 中 Inductive Bias 是 局部性 (Locality) 和 空间不变性 (Spatial Invariance) / 平移等效性 (Translation Equivariance)，即空间位置上的元素 (Grid Elements) 的联系/相关性近大远小，以及空间平移的不变性 (Kernel 权重共享)。

Convolutional layer, in which a local kernel function is reused multiple times across the input. Shared weights are indicated byarrows with the same color.

在VIT中，作者没有较少利用Inductive bias,没有利用局部不变性。需要经过大量的数据集和大量的迭代运算，才能取到较好的成绩。在Swin Transformer中，引入了滑动窗口技术，个人觉得这就是复用CNN中locality的特征，有效的减少了计算量。