一、基础篇
1. NMS及其变种
NMS： Soft-NMS： IOU-NMS：
2. 损失函数Loss及其变种
CTC Loss
L1 Loss：
BCE Loss：
IOU Loss： Focal Loss：减少易分类样本权重
3. 激活函数
Sigmoid： RELU： Softmax： Tan:
4. BN、LN、IN、GN
5. 卷积
卷积没有平移不变性
6.池化
a 平均池化：减少过拟合，保持池化前后梯度之和不变，同时可保留背景信息 b最大池化：可提取特征纹理，减少无用信息影响，反向时需用（需记录池化时最大像素值） c全局池化：获得全局上下文关系，以特征图为单位进行均值化 建议：前几层用最大池化，最后几层用平均池化
7.优化算法
Adam： SGD： Momentum Adagrad
二、提高篇
1.欠拟合方法：
a增加特征项；b减少正则化参数；c增加模型复杂度；d增加训练次数
2.正负样本平衡：
过采样少样本类 欠采样多样本类 合成新的少样本类
3.训练不收敛
没有数据归一化 没有数据预处理 没有正则化 BS太大 学习率设置不合理 最后一层激活函数错误 网络存在坏梯度，如Relu梯度为0 参数初始化错误 网络设计不合理，太浅或太深 数据标签有问题 隐藏层神经元有问题
4.较小卷积核的好处
相同感受野下提升网络深度，有一定效果 显著减少参数量
5.数据标准化意义
去纲量，控制在相同尺度，加速训练收敛 消除过曝图片，质量不佳对权重影响
6.如何解决梯度消失
使用ReLu，ELU等激活函数 批规范化 消除W带来的放大或缩小影响
三、进阶篇
1.小目标难检测原因？a下采样后特征图上像素少；b小目标数量少；c学习时易被大目标主导；
解决方法：a数据增强，放大图片；b特征融合；c合适的训练方法；d设置更小更稠密anchor；e利用GAN放大物体；f密集遮挡时IouLoss；g匹配策略，对于小目标不设置过于严格的阈值
2.场景问题
标签：Loss,NMS,卷积,梯度,样本,池化,深度,知识结构,梳理 From： https://www.cnblogs.com/jimchen1218/p/17915125.html