大模型成为发展通用人工智能的重要途径
专用模型
- 专用模型:针对特定任务，一个模型解决一个问题。
- 通用大模型:一个模型应对多种任务、多种模态。
书生·浦语大模型开源历程
书生·浦语 2.0(InternLM2)的体系
面向不同的使用需求 ，每个规格包含三个模型版本。
- 7B：为轻量级的研究和应用提供了一个轻便但性能不俗的模型。
- 20B：模型的综合性能更为强劲，可有效支持更加复杂的实用场景。
- InternLM2-Base：高质量和具有很强可塑性的模型基座 是模型进行深度领域适配的高质量起点。
- InternLM2：在 Base 基础上，在多个能力方向进行了强化 ，在评测中成绩优异，同时保持了很好的
通用语言能力，是我们推荐的在大部分应用中考虑选用的优秀基座。 - InternLM2-Chat：在 Base 基础上，经过 SFT 和 RLHF，面向对话交互进行了优化，具有很好的指令遵循、共情聊天和调用工具等的能力。
回归语言建模的本质
新一代数据清洗过滤技术
- 多维度数据价值评估：基于文本质量、信息质量、信息密度等维度对数据价值进行综合评估与提升。
- 高质量语料驱动的数据富集：利用高质量语料的特征从物理世界、互联网以及语料库中进一步富集更多类似语料。
- 有针对性的数据补齐 针对性补充语料，重点加强世界知识、 数理、代码等核心能力。
InternLM2的主要亮点
- 超长上下文：模型在 20万 token上下文中，几乎完美实现“大海捞针”。
- 综合性能、全面提升：推理、数学、代码提升显 著InternLM2-Chat-20B 在重点评测上比肩 ChatGPT
- 优秀的对话和创作体验：精准指令跟随，丰富的结 构化创作，在AlpacaEval2超越 GPT-3.5 和Gemini Pro。
- 工具调用能、力整体升级：可靠支持工具多轮调用复杂智能体搭建。
- 突出的数理能力和实用的数据分析功能：强大的内生计算能力，加入代码解释后，在GSM8K 和 MATH 达到和 GPT-4 相仿水平。
从模型到应用典型流程
书生·浦语全链条开源开放体系
- 数据:书生·万卷，2TB数据，涵盖多种模态与任务。
- 预训练：InternLM-Train，并行训练，极致优化速度达到 3600 tokens/sec/gpu。
- 微调：XTuner，支持 全参数微调，支持LORA等低成本微调。
- 部署：LMDeploy全链路部署，性能领先每秒生成 2000+ tokens 。
- 评测：OpenCompass，全方位评测，性能可复现100 套评测集，50万道题目。
- 应用：Lagent和AgentLego支持多种智能体，支持代
码解释器等多种工具。
开放的高质量语料数据
预训练
微调
评测
部署
智能体
有兴趣者可以观看这个视频教程，点击即可。