两层全连接神经网络的内容要比想象中的多很多，代码量也很多，在cs231n只用了15分钟讲解的东西我用了一周半的时间才完全的消化理解，这周终于完成了全连接神经网络博客的书写https://www.cnblogs.com/Lbmttw/p/16858127.html，两层全连接神经网络的结构是输入层-----隐藏层-----激活函数层-----输出层，其实本质我们要寻求的东西是一样的，都是要寻找分数函数，并且要求损失函数最小，不过我们原本是将整个输入层经过一层处理得到分数函数，不过在神经网络中，我们要经过多层，在后面的卷积神经网络中甚至还有卷积层和池化层；多了隐藏层相当于我们多处理了图像中的特点，隐藏层多了相当于学习能力变强了，隐藏层中节点的个数可以看做学习到的特征的数量。所以在经过一个两层全连接神经网络后我们的模型学习能力变强，准确率相应的也会升高。在两层全连接网络中，分类任务的准确率提高到了50%左右。
全连接网络的训练速度特别缓慢，我在Google drive上枚举寻找最优参数的过程中用时将近3个小时才找到最优的参数，训练出一个最优的模型，但是这个模型仍然存在过拟合的问题，减小过拟合可以通过增大正则项，减少隐藏层的神经元个数来实现，显然，减小神经元的个数相当于降低了机器的学习能力，也就能避免过拟合，但是一定要注意，如果隐藏层的数目过小可能会导致学习能力过低从而测试集准确率反而下降的现象，所以如何设定隐藏层的神经元个数值得我们商榷。
本周的困难主要出在对于神经网络这一模型的认知上，我之前始终不明白神经网络模型弄了那么多层是在干什么，每一层具体的物理意义是什么，在听完CNN的课后忽然就有一点明白了，本质都是一样的，在寻求分数函数并且损失函数最小化进而通过每一个类的分数来确定测试集到底属于哪一类，将所有性质一窝蜂似的大杂烩显然不能很好的学习模型的特性，相反的，通过不同层之间相互的映射，便可以逐层学习到模型不一样的特征，包括接下来要弄的CNN中的卷积层也是同样的道理，卷积核不断的移动，得到不同局部的性质，然后再通过局部性质合成成整张照片。目前的进度稍稍有点慢了，但是是我有意为之，神经网络的博客的工作量赶得上之前所有博客之和还要多，所以为了让自己理解明白并且能说明白这件事情，还是用了很多的心思的。下一周的任务是卷积神经网络的实现以及NeRF（神经辐射场）的综述部分，打算好好写一下综述，并且想要投一下试试看，亲身体验一下投paper的感觉。
标签：总结,函数,模型,卷积,11.6,11.13,学习,神经网络,隐藏 From： https://www.cnblogs.com/Lbmttw/p/16886449.html