书生浦语LLM全链路开源体系

LLM介绍

1. 大模型LLM成为发展通用人工智能的重要途径。

2. 专用模型：针对特定人物，一个模型解决一个问题；通用大模型：一个模型应对多种任务、多种模态。

书生浦语LLM发展历程及LM2

1. InternLM -> InternLM-7B开源 + 全链路开源工具体系 -> 书生万卷1.0多模态预训练语料库 -> InternLM-Chat-7B + 开源智能体框架Lagent -> InternLM 123B参数量 -> InternLM-20B开源 +开源工具链升级 -> InternLM 2开源

2. InternLM2分为三个参数量级别7B、20B、123B，并且每个规格包含InternLM2-Base、InternLM2、InternLM2-Chat三个模型版本，各有偏重。

3. InternLM2回归语言建模本质，通过新一代数据清洗技术对高质量语料进行学习，有更好的建模能力。

4. LM2的亮点：超长上下文、结构化创作能力强、强大内生计算能力及数理能力。

5. 在综合性上，LM2-7B和LM2-20B的能力均达到同量级开源模型领先水平。

从模型到应用的流程

1. 模型选型（评测）

2. 考虑业务场景是否复杂

3. 如果业务场景复杂则对参数进行微调、续训

4. 根据是否需要与环境交互判断是否需要构建智能体，或者直接对模型进行评测部署

书生浦语全链条开源开放体系

1. 数据：开源数据集：书生万卷1.0 + 书生万卷CC

2. 预训练：预训练框架：InternLM-Train、Intern-eval ->高拓展性、性能优化、主流技术兼容...

3. 微调：微调框架：Xtuner ->多微调算法、多开源生态、自优化加速、硬件适配广...

4. 部署：全流程解决方案：LMDeploy ->接口、轻量化、推理引擎、服务...

5. 评测：评测体系：OpenCompass2.0司南大模型 -> CompassRank性能榜单、CompassKit评测全栈工具链、CompassHub评测基准社区...

6. 应用：智能体框架及智能体工具箱：Lagent、AgentLego -> 支持多种类型智能体能力及多种大语言模型