接触各种AI工具到现在也快两年了,今年和同学陆续做了一些AI应用的科普宣讲,在这过程中收集了不少自学资源,特地挑出一部分整理成以下的内容。
扫描下方即可领取全部资料
书籍
大模型应用开发极简入门:基于GPT-4和ChatGPT
首推今年年初出版的《大模型应用开发极简入门:基于GPT-4和ChatGPT》,小红书上也有人叫它“章鱼书”(实际上是刺蛇尾Ophiothrix spiculata)。
这本书应该是目前综合下来最好的大模型应用入门类书籍,从大模型的基础概念和发展史讲起:
-
第 1 章 初识 GPT-4 和 ChatGPT
-
1.1 LLM 概述
-
1.1.1 探索语言模型和 NLP 的基础
-
1.1.2 理解 Transformer 架构及其在 LLM 中的作用
-
1.1.3 解密 GPT 模型的标记化和预测步骤
-
1.2 GPT 模型简史:从 GPT-1 到 GPT-4
-
1.2.1 GPT-1
-
1.2.2 GPT-2
-
1.2.3 GPT-3
-
1.2.4 从 GPT-3 到 InstructGPT
-
1.2.5 GPT-3.5、Codex 和 ChatGPT
-
1.2.6 GPT-4
第一章就有案例帮助读者深入浅出地理解大模型的落地应用:
-
1.3 LLM 用例和示例产品
-
1.3.1 Be My Eyes
-
1.3.2 摩根士丹利
-
1.3.3 可汗学院
-
1.3.4 多邻国
-
1.3.5 Yabble
-
1.3.6 Waymark
-
1.3.7 Inworld AI
-
1.4 警惕 AI 幻觉:限制与考虑
-
1.5 使用插件和微调优化 GPT 模型
-
1.6 小结
第二章直接开讲OpenAI的API调用:
-
第 2 章 深入了解 GPT-4 和 ChatGPT 的 API
-
2.1 基本概念
-
2.2 OpenAI API 提供的可用模型
-
2.3 在 OpenAI Playground 中使用 GPT 模型
-
2.4 开始使用 OpenAI Python 库
-
2.4.1 OpenAI 访问权限和 API 密钥
-
2.4.2 Hello World 示例程序
-
2.5 使用 GPT-4 和 ChatGPT
-
2.5.1 ChatCompletion 端点的输入选项
-
2.5.2 ChatCompletion 端点的输出格式
-
2.5.3 从文本补全到函数
-
2.6 使用其他文本补全模型
-
2.6.1 Completion 端点的输入选项
-
2.6.2 Completion 端点的输出格式
-
2.7 考虑因素
-
2.7.1 定价和标记限制
-
2.7.2 安全和隐私
-
2.8 其他 OpenAI API 和功能
-
2.8.1 嵌入
-
2.8.2 内容审核模型
-
2.8.3 Whisper 和 DALL · E
-
2.9 小结(含速查清单)
第三章就开始教你构建基于大模型的应用了,还有示例项目:
-
第 3 章 使用 GPT-4 和 ChatGPT 构建应用程序
-
3.1 应用程序开发概述
-
3.1.1 管理 API 密钥
-
3.1.2 数据安全和数据隐私
-
3.2 软件架构设计原则
-
3.3 LLM 驱动型应用程序的漏洞
-
3.3.1 分析输入和输出
-
3.3.2 无法避免提示词注入
-
3.4 示例项目
-
3.4.1 项目 1:构建新闻稿生成器
-
3.4.2 项目 2:YouTube 视频摘要
-
3.4.3 项目 3:打造《塞尔达传说:旷野之息》专家
-
3.4.4 项目 4:语音控制
-
3.5 小结
第四章包括了提示词和微调的技巧:
-
第 4 章 GPT-4 和 ChatGPT 的高级技巧
-
4.1 提示工程
-
4.1.1 设计有效的提示词
-
4.1.2 逐步思考
-
4.1.3 实现少样本学习
-
4.1.4 改善提示效果
-
4.2 微调
-
4.2.1 开始微调
-
4.2.2 使用 OpenAI API 进行微调
-
4.2.3 微调的应用
-
4.2.4 生成和微调电子邮件营销活动的合成数据
-
4.2.5 微调的成本
-
4.3 小结
第五章讲LangChain和API插件:
-
第 5 章 使用 LangChain 框架和插件增强 LLM 的功能
-
5.1 LangChain 框架
-
5.1.1 动态提示词
-
5.1.2 智能体及工具
-
5.1.3 记忆
-
5.1.4 嵌入
-
5.2 GPT-4 插件
-
5.2.1 概述
-
5.2.2 API
-
5.2.3 插件清单
-
5.2.4 OpenAPI 规范
-
5.2.5 描述
-
5.3 小结
-
5.4 总结
如果只读一本书,那么这本就是目前最全最容易上手的教材。缺点就是这本书是译制书,有些用语读起来可能不如本土化教材那么顺畅。
GPT 图解 - 大模型是怎样构建的!
黄佳老师之前出版过好几本和数据分析与机器学习相关的书籍。这本《GPT 图解 - 大模型是怎样构建的!》花费了很大的篇幅用图解的方式对大模型的原理进行了揭秘,在GPT原理解释上比上面那本书还要来得深入,缺点是实战案例相对没那么多,而且售价将近80元。
当然,如果你有条件可以顺便把黄佳老师的另一本书《动手做AI Agent》也一并买了:
这两本书在Github上都有对应的示例和代码:
-
GitHub - huangjia2019/llm-gpt: 异步图书 《GPT图解 大模型是怎样构建的!》
-
GitHub - huangjia2019/ai-agents: 异步图书 《大模型应用开发 动手做AI Agent》
大规模语言模型:从理论到实践
如果之前提到的那本书你嫌贵,又想看正规、免费、系统的教材,网上也有。
这里先推荐复旦大学计算机科学技术学院团队出品的《大规模语言模型:从理论到实践》:
一共八章课件(PPT格式):
-
第一章 绪论
-
第二章 大语言模型基础
-
第三章 大语言模型预训练数据
-
第四章 分布式模型训练
-
第五章 有监督微调
-
第六章 强化学习
-
第七章 大语言模型应用
-
第八章 大语言模型评估
Github
如果你不是编程小白,熟悉Github的话,大模型相关的优质资源就更多了。
Datawhale
首先找到这个Github账号:Datawhale
然后到Repo下面按Stars排序,那么你就得到了一片和机器学习、深度学习、大模型等知识构成的海洋:
和大语言模型相关且热度比较高的repo有这几个,你可以clone到本地慢慢啃:
-
https://github.com/datawhalechina/llm-cookbook
-
https://github.com/datawhalechina/self-llm
-
https://github.com/datawhalechina/llm-universe
-
https://github.com/datawhalechina/so-large-lm
动手学大模型Dive into LLMs系列
当然Github上的宝藏坑位也不止一个,还有Github用户Lordog和其他6个Contributor开源的教程:《动手学大模型Dive into LLMs》系列编程实践教程,本质是上海交大《人工智能安全技术》课程的拓展。
llm-action
还有一个比较推荐的是知乎答主吃果冻不吐果冻皮在Github上的llm-action项目:https://github.com/liguodongiot/llm-action
从目录上看这比前两个Github教程更全面和连贯,也更系统。如果你只打算找一个Github项目来全面了解大模型,那么选这个就没错了: