深度学习入门(更新中)

概述

前置知识:

• 线性代数
• 微积分
• 概率论
• python基础语法(包含面向对象的知识)
• 深度学习框架pytorch的基本api调用

学习资料:

• PyTorch深度学习快速入门教程

• 跟李沐学AI

• 《动手学深度学习》 — 动手学深度学习 2.0.0 documentation (d2l.ai)

后续学习

矩阵乘法

• mm ref

ResNet残差神经网络学习

• 详解残差网络

SGD和Adam优化器

Transformer结构

墙裂推荐

• The Illustrated Transformer – Jay Alammar
• Transformer模型详解

补充资料

• Attention注意力机制与self-attention自注意力机制

• 注意力机制综述

Question

• 什么是embding层?

• 以点积注意力机制为例，说明Q,K,V如何计算?

• 多头注意力机制中，是如何处理各个注意力机制的计算结果的？

• 机器翻译实例：在transformer架构中，给定一个句子"I have a cat"。阐述transformer是如何将其翻译为"我有一只猫"

Gpipe

• 流水线并行,以Gpipe为例 -
• GPipe论文精读【论文精读】_

Question

• 什么是mini-batch?什么是micro-batch?
• Gpipe的性能评价(bubble)

DP or DDP

• PyTorch 源码解读之 DP & DDP：模型并行和分布式训练解析
• 数据并行上篇(DP, DDP)

Question

• 为什么要数据并行？什么是数据并行，具体举一个例子？DP瓶颈在哪里？

• 什么是异步梯度更新？

• 分布式数据并行(DDP)和数据并行区别是什么?

• Ring-AllReduce是什么，具体举个例子?

task

• 查看pytorch提供的DP的源码

Zero(Deepspeed)

• 数据并行下篇( DeepSpeed ZeRO，零冗余优化)
• DeepSpeed之ZeRO系列：将显存优化进行到底
• Zero 论文精读【论文精读】

Question

• Zero提出的目的是什么?

• zero-1,zero-2,zero-3分别干了什么事情?,在一次epoch中具体是如何计算的?

• zero-R具体干了什么事情

• 什么是zero-offload?

Megatron-LM

• 张量模型并行(TP)，Megatron-LM
• Megatron LM 论文精读【论文精读】

Question

• Megatron 对mlp层，self-attention, 以及embeding层时如何切割和计算的?
• Megatron 对比 DP (通讯量,存储开销)

task

• 阅读Megatron-LM 源码

后续学习

Colossal Ai

阅读手册并部署

• Colossal-AI (colossalai.org)

Flash Attention

• FlashAttention 的速度优化原理是怎样的?

Lora微调技术

• 大模型微调（finetune）方法总结-LoRA,Adapter,Prefix-tuning，P-tuning，Prompt-tuning

LOMO

• LOMO：利用有限的资源对大型语言模型进行全参数微调