书生浦语大模型实战营第二期参营总结

动机

在历史洪流面前，人轻浮得像一粒沙：今年的Java后端又要炸了。作为一条研究方向为图像处理、导师不放暑期实习的硕士牛马，自觉疲惫。既然对就业的准备暂时略感疲惫，科研又有导师天天push自然不会太主动，那就换换心情学点LLM相关的内容满足自己的兴趣。刚好有好友推荐这个实战营，一番盘算后决定参加。一方面，学这些大语言模型相关的知识能够满足我的个人兴趣爱好；另一方面，搞这些对于现在手上的课题有可能是有帮助的，还有一个充满冒险的考量：未来十年是属于人工智能技术而非前端后端客户端的，搞这些未必不能就业。

这个实战营是上海人工智能实验室为推广自己的LLM而开设的。书生·浦语是上海人工智能实验室大模型品牌，第二期的书生浦语大模型实战营正是上海人工智能实验室为推广旗下大模型及相关开源工具于 2024 年 3 月 26 日至 2024 年 4 月 26 日举办的线上培训，主要包括RAG、模型微调、智能体和模型评测等内容，由一些项目的贡献者对项目进行讲解。这次参营，一来学一些当下最火热的LLM相关的知识和技术，二来方便自己摸摸A100。一个月过去了，实战营也是很快就接近尾声。每次结束都会免不了伤感，就会情不自禁地想写总结，所以便有了这篇博客。

收获

参加这个训练营是有收获的。

首先是学习了LLM相关的技术。通过这个渠道，我学习到了LLM相关的技术，至少知道了这些东西大概都是怎么回事。这实战营是一个引子，虽然讲得未必有多详细，但是它强制写学习笔记导致我犯强迫症，在撰写每一篇笔记的时候都会去网上找一些其他的资料来丰富细节介绍原理。虽然这些笔记现在的质量还算不上高，但是后续我会完善大语言模型学习这个系列的博客，使这个合集介绍到更多底层细节。这个实战营的主要优势有：

1. 这个课程带我从0开始认识大模型的一些东西。
2. 课程文档对小白非常友好。
3. 社区提供了一些有用的资源推送。比如 Llama 3 发布后不久就推了个直播分析 Llama 3，感觉就像加入了一个乐于讨论LLM技术的圈子，大家共同成长。

然后是我个人在博客写作这一块的提升。在参营之前，我从来没有写过这么长的技术博客，但是现在这个实战营给了一个due，给了作业评比与优秀学员机制，所以就有了一些额外的动力。LMDeploy量化实战这个作业，1200行；Demo实操作业，1600行；我当然知道里面有多少废话，但是在这之前我想都不敢想，也根本没有这个毅力坚持写完。我也从来没有写过这么多的博客。这一系列的博客都被打上了“书生浦语大模型实战营”的tag，我在后台看已发布的有14篇，加上这篇总结应该会有15篇，全都是在一个月之内完成的，如此高频的输入博客确实是第一次。我写的博客也没被这么多人看过。我博客的PV、UV集体创新高，我这小菜鸡看到这几十的浏览量就很高兴。我看了下访问来源，更多读者实际上是从谷歌搜索进入博客的，而实战营飞书群引流的作用比我预想的要小不少。这些作业其实有一部分是我在实验室摸鱼的时候做完的，博客则是晚上熬夜写的，为了这些博客这个月可没少比平时晚睡。现在回想起这些还有些骄傲。

要说这个课程的缺点，其实也是有的。比如模型微调这一节，视频前面的理论部分不知所云，而理论与实操又是两个完全不同的东西。再比如部分实操仅仅停留在对工具的使用上，对于关键代码教程里面则直接教大家“复制粘贴”完事，不免怀疑我是不是看了一个大型广告。

总结

我的研究方向是图像处理，这个实战营出现在这里，就像为我打开了一扇窗，让我看清如今最热门的LLM的发展现状。当然我相信大视觉模型（Foundation Vision Model）和世界模型（Large World Model）终有发布的一天，等到那一天到来，我也会像现在一样如此热烈地了解相关内容。

彩蛋

完成核心课程学习后不久，导便让我调研关于多模态大模型相关的内容，实战营中关于LLaVA的部分刚好可以用上。