本文记录一个机器学习的一个理论知识：
神经网络的偏置归纳由什么构成？网络结构？权重参数值？
答案：
由网络结构和权重参数值共同决定。
参考：
https://www.jianshu.com/p/e4c18f6538d2
这个问题问的好像很小白，但是这个知识点其实很多人都是搞不大懂的。其实机器学习算法可以分为有参模型和无参模型两类，无参模型其实就不太算作模型了，毕竟没有参数。无参的机器学习算法有：K-means、K-NN、SVM、决策树等等，有参的则以神经网络算法为代表，其实有参和无参的机器学习算法其实主要看是否存在计算矩阵，并不是说一个参数都没有，这一点和“统计学”还是有些出入的，在“统计学”中对统计模型和度量的手段往往把一个参数都没有的叫做无参。
这个归纳偏置是什么本文不作介绍，这里姑且可以把这个terminology看做是一种模型的推断的假设。
对于无参的机器学习算法来说，这个归纳偏置就是算法的结构或者说是算法的步骤或说是步骤的逻辑，这个自然是好理解的，因为输入到输出并没有经过权重矩阵的计算，其计算也是根据算法的逻辑和步骤进行的，因此对于无参的机器学习算法，其归纳偏置就是其算法本身。
但是，对于有参的机器学习算法来说，这就复杂了些，那是因为有参的机器学习算法不仅有着算法特定的计算步骤和逻辑，更有着可以具有不同数值的参数权重矩阵。
对于无参的机器学习算法来说，只要算法固定，输入固定，那么输出就基本上是固定的；而有参机器学习算法来说，存在随机种子初始化权重矩阵的这个问题，由于随机初始化参数的数值不同，是无法保证不同训练次数中输入数据对应的输出是一致的。
在有参机器学习算法中（神经网络算法），由于训练时的步骤不同，假设不同，即使是相同的神经网络结构最后得到的权重矩阵往往也是具有不同的假设条件的，这是在训练的时候就会被决定的。因此，在有参机器学习算法中，偏置归纳不仅是由网络结构所决定的，也是由权重数值所决定的，而归根到底，有参算法和无参算法一样，其偏置归纳都是由算法的逻辑和步骤所决定的，因为对于神经网络来说，其运算时的假设，具体运算步骤和逻辑都是算法的逻辑所决定的，因此：
有参算法（神经网络），在低层次上来说，归纳偏置由网络结构和权重参数所共同决定，但是在高层面上来说，其归纳偏置依旧和无参算法一样是由算法本身所决定的。
参考：
标签：无参,偏置,权重,归纳,算法,网络结构,参数值 From： https://www.cnblogs.com/devilmaycry812839668/p/17999099