普通人学习大模型应该怎么学？

标签：模态 RAG 普通人 模型 Agent 学习 LangChain

前言

近年来，人工智能领域掀起了一股“大模型”热潮，吸引了无数研究者和企业关注。所谓“大模型”，是指那些参数量巨大、结构复杂人工智能模型，如谷歌BERT、OpenAI的GPT等。这些模型在自然语言处理、计算机视觉等任务中取得了显著成果，引领着人工智能技术发展。那么，这些“大模型”究竟有何魅力？ 它们又将给人工智能领域带来怎样变革？

大模型出现是人工智能技术发展必然趋势。随着硬件设备不断升级、数据量爆发式增长以及算法日益成熟，人工智能模型得以在更大规模上进行训练，从而实现更强大功能。大模型正是这一趋势产物，它们在参数量、模型复杂度等方面都达到了前所未有高度，为人工智能领域带来了新突破。

那么，大模型究竟有何优势呢？大模型优势主要体现在以下几个方面：

1. 大模型能够更好地捕获数据中复杂关系。在传统机器学习模型中，往往需要人工设计特征来表示数据中关系。而在大模型中，由于模型参数量巨大，模型能够自动学习到数据中复杂特征表示，从而提高模型表达能力。

2. 大模型具有更强泛化能力。由于大模型在训练过程中能够学习到更丰富数据信息，因此它们在面临新数据时能够更好地进行泛化，取得更好性能。

3. 大模型能够实现端到端的学习。在传统机器学习方法中，往往需要将任务拆分成多个阶段，如特征提取、模型训练等。而在大模型中，由于模型的结构复杂，能够实现端到端学习，从而简化了整个过程，提高了效率。

当然，大模型也面临着一些挑战。

首先，大模型训练和部署需要巨大计算资源，这对于许多企业和研究者来说是一个巨大挑战。

其次，大模型的可解释性较差，这对于一些对可解释性要求较高领域来说可能是一个限制因素。

总的来说，我认为大模型是人工智能领域重要发展趋势，它们为人工智能技术带来了新的机遇和挑战。在未来，我们有理由相信，随着技术不断进步，大模型将会在更多领域取得突破，为人类社会带来更多便利。

AGI大模型应用开发学习路线

第一阶段 · 大模型开发基础

第一章：AI新篇章

1. 为什么要学习大模型开发？
2. 对学员期望与课程目标
3. 课程安排概览
4. 学习评估
5. 需要准备的工具和环境

第二章：大模型的训练与应用

1. 大模型发展史
2. 从大模型预训练、微调到应用
3. GPT结构剖析
4. 大模型家族、类别、应用场景
5. RAG，Agent与小模型

第三章：大模型实操与API调用

1. 通过API调用大模型
2. 单论对话与多轮对话调用
3. 开源模型与闭源模型调用
4. ChatGLM，Baichuan，Yi-34B调用
5. GPT，LLaMA模型调用
6. 模型的部署、容器化

第四章：提示工程技术（1）

1. 提示词的常见结构
2. 提示词的模版化
3. Zero-shot与Few-shot
4. In-context learning
5. Chain of thought prompting

第五章：提示工程技术（2）

1. Tree of thought prompting
2. Graph of thought promting
3. Self-consistency
4. Active-prompt
5. Prompt chaining

第二阶段 · RAG基础与架构

第六章：RAG基础与架构

1. 为什么需要RAG？
2. RAG的经典应用场景
3. RAG的经典结构与模块
4. 向量数据库
5. 检索与生成

第七章：【项目实战】基于RAG的PDF文档助

1. 产品介绍与核心功能
2. 技术方案与架构设计
3. 文档读取和解析
4. 文档的切分和文档向量化
5. query搜索与文档排序
6. 提示模版与大模型API接入
7. 模型部署与Web应用

第八章：文档切分常见算法

1. 根据每个Sentence切分
2. 根据固定字符数切分
3. 根据固定sentence数切分
4. 根据递归字符来切分
5. 根据语义相似度来切分

第九章：向量数据库常见算法

1. 常用向量数据库以及类别
2. 向量数据库与索引算法
3. 到排表与搜索优化
4. KNN与近似KNN
5. Product Quantization

第十章：向量数据库算法进阶- HSNW

1. HSNW算法在索引中的重要性
2. NSW算法解读
3. NSW图中的搜索问题
4. Skip List讲解
5. 具有层次结构的NSW

第十一章：【项目实战】基于RAG的新闻推荐

1. 推荐系统原理、应用场景以及架构剖析
2. 传统推荐算法与基于LLM推荐算法
3. 新闻数据的准备与整理
4. 推荐中的召回与精排
5. 精排与Prompt构建
6. 模型部署与测试

第三阶段 · RAG与LangChain

第十二章：LangChain基础应用

1. 为什么需要LangChain?
2. 通过一个小项目快速理解各个模块
3. LangChain调用模型
4. PromptTemplate的应用
5. 输出格式设定
6. Pydantic Object设计

第十三章：理解Function Calling

1. 什么是 Function Calling
2. 自定义输出结构
3. 基于OpenAI调用Function Calling
4. Function Calling的稳定性
5. LangChain与Function Calling

第十四章：LangChain与Retrieval组件

1. Document Loaders
2. Text Splitters
3. Text Embedding模型
4. 常用的向量数据库调用
5. 常用的Retriever

第十五章：LangChain与Chain组件

1. 为什么需要Chain？
2. LLMChain, Sequential Chain
3. Transform Chain
4. Router Chain
5. 自定义Chain

第十六章：Advanced RAG（1）

1. 经典RAG的几个问题
2. Self-querying retrieval
3. MultiQuery retriever
4. Step-back prompting
5. 基于历史对话重新生成Query
6. 其他Query优化相关策略

第十七章：Advanced RAG（2）

1. Sentence window retrieval
2. Parent-child chunks retrieval
3. Fusion Retrieval
4. Ensemble Retrieval
5. RPF算法

第十八章：基于RAGAS的RAG的评估

1. 为什么需要评估RAG
2. RAG中的评估思路
3. 评估指标设计
4. 套用在项目中进行评估
5. RAGAS评估框架的缺点

第十九章：实战基于Advanced RAG的PDF问答

1. 需求理解和系统设计
2. 经典RAG架构下的问题
3. 检索器优化
4. 生成器优化
5. 系统部署与测试

第四阶段 · 模型微调与私有化大模型

第二十章：开源模型介绍

1. 模型私有化部署的必要性
2. 中英开源模型概览与分类
3. ChatGLM, Baichuan，Yi等中文开源模型
4. LLaMA，Mistral系列英文开源模型
5. 微调所需要的工具和算力

第二十一章：模型微调基础

1. 判断是否需要模型微调
2. 模型微调对模型的影响和价值
3. 选择合适的基座模型
4. 数据集的准备
5. 微调训练框架的选择

第二十二章：GPU与算力

1. GPU与CPU
2. GPU的计算特性
3. 微调所需要的算力计算公式
4. 常见GPU卡介绍与比较
5. 搭建GPU算力环境

第二十三章：高效微调技术-LoRA

1. 全量微调与少量参数微调
2. 理解LoRA训练以及参数
3. PEFT库的使用
4. LoRA训练硬件资源评估
5. 认识QLoRA训练

第二十四章：【项目实战】基于ChatGLM-6B+LoRA对话微调模型

1. 理解ChatGLM模型家族以及特性
2. 导入模型以及tokenizer
3. 设计模型参数以及LoRA参数
4. 训练以及部署微调模型
5. 测试微调模型

第五阶段 · Agent开发

第二十五章：Agent开发基础

1. 什么是Agent
2. 什么是Plan, Action, Tools
3. 经典的Agent开源项目介绍
4. 编写简单的Agent程序
5. Agent目前面临的挑战与机遇

第二十六章：自定义Agent工具

1. LangChain所支持的Agent
2. 什么需要自定义Agent
3. @tool decorator的使用
4. 编写自定义Agent工具
5. 编写完整的Agent小项目

第二十七章：深入浅出ReAct框架

1. 回顾什么是CoT
2. CoT和Action的结合
3. 剖析ReAct框架的Prompt结构
4. 从零实现ReAct（from Scratch)
5. ReAct框架的优缺点分析

第二十八章：【项目实战】开源Agent项目

1. 开源Agent项目以及分类
2. AutoGPT项目讲解
3. MetaGPT项目讲解
4. 其他开源项目
5. Agent技术目前存在的问题

第二十九章：深度剖析Agent核心部件

1. Agent的planning
2. Agent的reasoning
3. Agent的knowledge
4. Agent的memory
5. Agent的泛化能力

第三十章：【项目实战】基于Agent的AI模拟面试

1. 需求设计和系统设计
2. 工具的设计
3. AI面试中的深度询问方案设计
4. 提示工程设计
5. Memory的设计
6. 智能体开发与部署

第三十一章：Agent其他案例分享

1. AI旅游规划师
2. AI产品销售
3. AI房租推荐
4. AI图像处理
5. AI网站开发

第三十二章：其他Agent前沿应用

1. 多个Agent的协同
2. Agent的group行为
3. Agent Society
4. Agent的Personality
5. 斯坦福小镇案例

第六阶段 · 智能设备与“小”模型

第三十三章：智能设备上的模型优化基础

1. 智能设备特性以及资源限制
2. 模型优化的必要性
3. 常见的模型压缩技术
4. 轻量级模型架构介绍
5. 开源小模型

第三十四章：模型在智能设备上的部署

1. 多大的模型适合
2. 部署流程概述
3. 模型转换工具
4. 模型部署实战
5. 性能测试与优化

第三十五章：边缘计算中的大模型挑战与机遇

1. 边缘计算的概念和重要性
2. 模型所要满足的要求与性能上的平衡
3. 模型在边缘设备上的应用案例
4. 未来“小”模型发展趋势
5. 24年“小”模型机会

第七阶段 · 多模态大模型开发

第三十六章：多模态大模型基础

1. 什么是多模态模型
2. 多模态的应用场景
3. DALLE-3与Midjourney
4. Stable Diffusion与ControlNet
5. 语音合成技术概述
6. 主流TTS技术剖析

第三十七章：多模态模型项目剖析

1. 多模态大模型最新进展
2. Sora对多模态大模型会产生什么影响
3. 案例：MiniGPT-4与多模态问答
4. 案例：BLIP与文本描述生成
5. 案例：Video-LLaVA与多模态图像视频识别

第三十八章：大模型的挑战与未来

1. 大模型技术局限性
2. 大模型的隐私性和准确性
3. 大模型和AGI未来
4. GPT商城的机会
5. 多模态的机会
6. 对于开发工程师未来的启示

“雷军曾说过：站在风口，猪都能飞起来”可以说现在大模型就是当下风口，是一个可以改变自身的机会，就看我们能不能抓住了。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

标签：模态,RAG,普通人,模型,Agent,学习,LangChain
From： https://blog.csdn.net/lvaolan/article/details/142960612