学习如何从零开始创建、训练和调整大型语言模型（LLMs）
在《从零构建大型语言模型》一书中，畅销书作者塞巴斯蒂安·拉什卡（Sebastian Raschka）将一步步指导你创建自己的LLM。每个阶段都有清晰的文字、图表和示例解释。从最初的设计和创建，到基于通用语料库的预训练，再到为特定任务进行微调，你将全面掌握每个步骤。
《从零构建大型语言模型》教你如何：
-
规划和编写LLM的所有组件代码
-
准备适合LLM训练的数据集
-
为文本分类及自有数据微调LLM
-
使用人类反馈确保LLM遵循指令
-
将预训练的权重加载到LLM中
《从零构建大型语言模型》将带你深入AI的“黑箱”，让你调整生成式AI的内部系统。在LLM创建的每个关键阶段，你将深入理解LLM的工作原理、它们的局限性以及它们的定制方法。你可以在普通笔记本电脑上开发LLM，并将其用作个人助手。
关于技术
据说物理学家理查德·费曼（Richard P. Feynman）曾表示：“我无法理解任何我不能自己构建的东西。”基于这一强大的原则，畅销书作者塞巴斯蒂安·拉什卡将引导你逐步构建一个GPT风格的LLM，它可以在你的笔记本电脑上运行。这是一本引人入胜的书籍，涵盖了从规划、编码到训练和微调的每个阶段。
关于本书
《从零构建大型语言模型》是一段充满实践性和成就感的动手旅程，深入探索生成式AI的基础。在不依赖任何现有LLM库的情况下，你将编写一个基础模型，将其发展为文本分类器，最终创建一个可以按照对话指令进行交互的聊天机器人。而且你会真正理解它，因为你是自己构建的！
书中内容
-
规划并编写一个与GPT-2相当的LLM
-
加载预训练权重
-
构建完整的训练管道
-
为文本分类微调LLM
-
开发遵循人类指令的LLM
读者对象
读者需要具备中级的Python技能和一些机器学习知识。你所创建的LLM可以在任何现代笔记本电脑上运行，并且可以选择使用GPU。
作者简介
塞巴斯蒂安·拉什卡（Sebastian Raschka）是Lightning AI的研究工程师，专注于LLM研究并开发开源软件。
本书的技术编辑是大卫·卡斯韦尔（David Caswell）。
目录
-
了解大型语言模型
-
处理文本数据
-
编写注意力机制
-
从零实现GPT模型生成文本
-
在无标签数据上进行预训练
-
为分类进行微调
-
为遵循指令进行微调
附录A PyTorch简介
附录B 参考文献和延伸阅读
附录C 习题答案
附录D 为训练循环增加附加功能
附录E 使用LoRA进行参数高效微调
作者简介
塞巴斯蒂安·拉什卡从事机器学习和AI领域已有十多年。他于2022年加入Lightning AI，专注于AI和LLM研究，开发开源软件，并创作教育材料。在此之前，塞巴斯蒂安曾在威斯康星大学麦迪逊分校统计系担任助理教授，专注于深度学习和机器学习的研究。他对教育充满热情，以其畅销的开源软件机器学习书籍闻名。
如何学习AI大模型？
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用
对于0基础小白入门：
如果你是零基础小白，想快速入门大模型是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！
标签：构建,训练,AI,模型,学习,新书,LLM,370,pdf From： https://blog.csdn.net/xiangxueerfei/article/details/143144914