大模型 LLMs 入门指南：小白的学习之路

前言

很明显，这是一个偏学术方向的指南要求，所以我会把整个LLM应用的从数学到编程语言，从框架到常用模型的学习方法，给你捋一个通透。也可能是不爱学习的劝退文。

通常要达到熟练的进行LLM相关的学术研究与开发，至少你要准备 数学、编码、常用模型的知识，还有LLM相关的知识的准备。

TL;DR

要求总结：
数学知识：线性代数、高数、概率
开发语言：Python, C/C++
开发框架：Numpy/Pytorch/Tensorflow/Keras/Onnx
常用模型：MLP、CNN、RNN、Transformer（GPT-2、RWKV、Mamba、TTT）
LLM相关：Prompt各种理论框架，RAG各种技术，FineTune的几种方法
好了，开始正式的劝退版吧。

数学是基础，但是对于研究生来讲可能又不是大问题。
通常数学对于毕业后的人来讲，需要简单的看一下，对于一个研究生一年级的人来讲不是问题。毕竟线性代数、高数、概率都是必考。只有凸优化这东西，可能是门需要自己再看一下的课程。

线性代数：关键概念包括向量、矩阵、。重要的公式涉及矩阵乘法、及特征值方程Av=λv，其中 A是矩阵，v 是特征向量，λ是特征值。

高数：基本是微积分，重点是理解极限、导数和积分的概念。函数 f(x) 在点 x的导数由f′(x)=limh→0 f(x+h)−f(x) 给出，基本微积分定理将微分与积分联系起来。

概率：关键点包括概率公理、条件概率、随机变量和分布。例如，贝叶斯定理由P(A∣B)=P(B∣A)P(A)/P(B)给出，它帮助在发生B 的情况下更新 A 的概率。

凸优化：关注目标函数的问题。关键概念包括凸集、凸函数、梯度下降。梯度下降更新规则可以表示为 xn+1 =xn −α∇f(xn )，其中 α是学习率。可能你需要在此努力一下。

编码，以前需要大量的时间，现在你只需要适应AI的Copilot
原来编码我要写一堆的，但是最近的AI告诉我，Cursor或者任意的AI大模型都可以指导你完成基本的编码工作了。

所以你只需要知道，自己需要下面这些知识就好了。

核心开发语言要掌握Python、C/C++。 如果你有更强烈的意愿，可以再去研究一下CUDA相关的知识。
Numpy 主要是掌握各种数据的使用方法。
Pytorch 与 Tensor、 Keras 就是完成各种网络及训练的方法。 Onnx就是有些模型是基于它的发布，你要会使用它来运行及分析这个模型。
但这些其实只需要你会问AI大模型就好了。

常用模型，这些可能是让你了解常识，面未来的突破就在历史
MLP、CNN、RNN的典型模型你可能要相对熟悉一点，我建议你自己手写一下。

建议是这些网络

LeNet-5: 这是最早的卷积神经网络之一。
AlexNet: AlexNet在ImageNet图像分类竞赛中表现优异，标志着深度学习的广泛应用。
VGGNet: VGGNet以其深度和使用的小（3x3）而闻名，常用的模型有VGG16和VGG19。
ResNet (Residual Networks): ResNet通过引入残差连接解决了深度网络中，最著名的版本是ResNet-50、ResNet-101。
Long Short-Term Memory (LSTM):LSTM通过引入门控机制解决了标准RNN中的长期依赖问题，是处理序列数据的标准模型之一。
Gated Recurrent Unit (GRU): GRU是LSTM的简化版本，具有类似的性能但计算效率更高。
Bidirectional RNN: 这是RNN的一种变体，可以同时考虑序列中前后文信息，通常用于自然语言任务。
而新一些架构，可能你要看RWKV、Mamba、TTT这三个新架构，它们的潜力还是不错的。

LLM相关

你的目标是这个，其实现在所有做人工智能的基本上都集中在这儿了。而且在卷这样简单的一个架构的各个方面：

推荐自己手写一个 Transformer 模型，至少要写一个 Attention 的结构。还要看懂下面这个图。你就能体会到一个至简的模型是怎么遵循 Scaling Law的，AGI 可能就在这个简单的重复与变大中了！

当然了，一定要用数据跑个训练。GPT-2的就有非常不错的示范了。

如果你能顺利完成到这儿，我想你的水平，混个论文，搞到研究生毕业在大部分院校应该不是大问题了。如果是TOP几的。。。你自己再想一下吧。

但是，如果你觉得这些难？想找个效率更高，难度更简单的。那我建议你听个课吧。毕竟，课程是一个相对体系化，而且有人不断的能讲解且解决你的疑问的手段。相当于用钱买了你的时间与知识。

大模型资源分享

针对所有自学遇到困难的同学，我为大家系统梳理了大模型学习的脉络，并且分享这份LLM大模型资料：其中包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等。