标签：第二课 AI 模型 学习 卷积 3.4 OpenMMLab 图像 2.6
OpenMMLab AI实战营 第二课笔记
计算机视觉之图像分类算法基础
1.什么是图像分类？
1.1 问题的数学表示
1.2 视觉任务的难点
1.2.1 超越规则：让机器从数据中学习
1.2.2 机器学习的局限
1.2.3 传统方法：设计图像特征
1.3 深度学习
1.3.1 特征工程的天花板
1.3.2 从特征工程到特征学习
1.3.3 层次化特征的实现方式
1.3.4 AlexNet的诞生&深度学习时代的开始
1.4 课程内容
2.卷积神经网络
2.1 AlexNet (2012)
2.2 Going Deeper (2012~2014)
2.3 VGG (2014)
2.4 GoogLeNet (Inception v1, 2014)
2.5 卷积神经网络优化
2.5.1 精度退化问题
2.5.2 实验的反直觉
2.5.3 残差学习的基本思路
2.6 残差网络ResNet(2015)
2.6.1 ResrNet中的两种残差模块
2.6.2 ResNet的成就和影响力
2.6.3 ResNet是深浅模型的集成
2.6.4 残差链接让损失曲面更平滑
2.6.5 ResNet的后续改进
2.更强的图像分类模型
2.1 神经结构搜索 Neural Architecture Search (2016+)
2.3 ConvNeXt (2022)
2.4 图像分类 & 视觉基础模型的发展
3.轻量化卷积神经网络
3.1 卷积的参数量
3.2 卷积的计算量(乘加次数)
3.3 降低模型参数量和计算量的方法
3.4 轻量化方法应用
3.4.1 GoogLeNet 使用不同大小的卷积核
3.4.2 ResNet 使用1×1卷积压缩通道数
3.4.3 可分离卷积
3.4.4 MobileNet V1/V2/V3 (2017~2019)
3.4.5 ResNeXt 中的分组卷积
4.1 注意力机制 Attention Mechanism
4.2 Why Attention
4.3 实现 Attention
4.4 Attention应用
4.4.1 多头注意力 Multi-head (Self-)Attention
4.4.2 1D 数据上的 Attention
5.模型学习
5.1 模型学习的范式
6.监督学习
6.1 监督学习介绍
6.2 交叉熵损失 Cross-Entropy Loss
6.3 优化目标 & 随机梯度下降
6.4 动量 Momentum SGD
6.5 基于梯度下降训练神经网络的整体流程
6.6 训练技巧的重要性
7.学习率与优化器策略
7.1 权重初始化
7.2 学习率对训练的影响
7.3 学习率策略
7.3.1 学习率策略：学习率退火 Annealing
7.3.2 学习率策略：学习率升温 Warmup
7.3.3 Linear Scaling Rule
7.3.4 自适应梯度算法
7.4 正则化与权重衰减 Weight Decay
7.5 早停 Early Stopping
7.6模型权重处理
7.6.1 模型权重平均 EMA
7.6.2 模型权重平均 Stochastic Weight Averaging
8.数据增强
8.1 数据增强 Data Augmentation
8.2 组合数据增强 AutoAugment & RandAugment
8.3 组合图像 Mixup & CutMix
8.4 标签平滑 Label Smoothing
9.模型相关策略
9.1 丢弃层 Dropout
9.2 随机深度 Stochastic Depth
10.自监督学习
10.1 自监督学习的常见类型
10.2 自监督学习的应用
10.2.1 Relative Location (ICCV 2015)
10.2.2 SimCLR (ICML 2020)
10.2.3 Masked autoencoders (MAE, CVPR 2022)
10.3 总结
11.MMClassification
11.1 MMClassification 介绍
11.2 图像分类工具包 MMClassification
11.3 Python 推理 API
11.4 推理工具（需源码安装）
11.5 训练工具（需源码安装）
11.6 使用 MIM 工具实现训练和测试
11.7 环境搭建
11.8 OpenMMLab 项目中的重要概念——配置文件
11.9 配置文件的运作方式
11.10 图像分类模型的构成
11.11 图像分类模型构建
11.12 数据集构建
11.13 定义数据加载流水线
11.14 配置学习策略
11.15 预训练模型库
标签：第二课,
AI,
模型,
学习,
卷积,
3.4,
OpenMMLab,
图像,
2.6
From： https://www.cnblogs.com/isLinXu/p/17090581.html