之前的网络都面临梯度消失和过拟合问题
残差网络可以解决这个问题增加网络深度。
极大节约参数
网络结构图里面实线和虚线的区别
resnet 网络结构图
BN 层
训练时设为true 验证时false
迁移学习
使用别人预训练的模型训练自己的数据
使用迁移学习的优势:
1.能够快速的训练出一个理想的结果
2.当数据集较小时也能训练出理想的效果
常见的迁移学习方式:
1.载入权重后训练所有参数
2.载入权重后只训练最后几层参数
3.载入权重后在原网络基础上再添加一层全连接层，仅训练最后一个全连接层