一、大模型产业链的终态猜想
我们先定义理想状态下，大模型应该具备哪些综合性能：
- 指令理解能力：能够理解并遵循指令，并按照指令完成相应的逻辑推理、知识抽取、概念总结、API调用等任务
- 多语言理解能力：能够同时理解包括中文、英文等主流语言
- 逻辑推理能力：能够将复杂任务分解为相互串联依赖的子任务，通过分治的方法进行链式地逻辑推理，并最终解决问题
- 知识抽取能力：能够有效压缩、表征海量训练集中的有效知识，并存储在深度神经网络内部
- 概念总结能力：能够对输入内容进行抽象总结，并根据指令要求，形成新的格式化内容结构
- 有限外推自控能力：对模型内部不存在的知识能够控制幻觉生成，能够保证生成的内容永远是有用的
- 合规自控能力：模型内部蕴含复合公序良俗、符合人类共同价值观的规范
基于以上理想状态下的大模型，整个产业链的形态可以大致描述如下：
- 少数拥有高质量数据（多样性、丰富性、海量、信息质量高）的巨头公司/科研机构会不断迭代推出极高质量的基础大模型，大模型预测的token成本会随着边际效应不断降低，直至突破人力成本线
- 随着基础大模型性能的不断提升，B端开发者基于基础大模型的“再训练”以及“微调”行为，ROI逐渐降低。基础大模型成为新的实际意义上的“通用操作系统”，“自研操作系统”的意义逐渐丧失，接入基础大模型到现有业务流中成为最佳选择
- B端的开发工作转向“prompt engining（prompt工程）”，在应用端需求的拉动下，该领域会迎来海量场景的大规模爆发，同时也伴随着大量的新开发范式被提出，例如
- 基于prompt接口规范定义的元编程：通过prompt template近似实现“数据+prompt temple驱动的NLP Program”
- Role-Play prompt：让大模型成为特定领域任务的助手
- API-call prompt：让大模型成为传统软件User-Interface的NLP交互界面，灵活翻译用户的输入指令，并和Web2.0的现有IT基础设施进行交互，大幅度提升软件的用户交互体验
- ......
- 数据的价值会越来越受到人类重视，产权问题和保护主义会逐渐占据上峰
笔者猜想，上面描述的终态会在1到2年内达到，整个B端软件的开发和交付范式将完成一次彻底的蜕变。
二、过渡阶段不同开发方式的主要影响因素分析
通过第一章的讨论，我们已经很明确的一件事是：
基础大模型是未来一段时间软件行业的核心战略资源。
但是，处于过渡阶段期间，基础大模型的能力还并不完善，各个下游SaaS厂商所拥有的基础大模型资源又是不同的。同时，出于市场竞争的缘故，各家SaaS厂商又不可能傻等到基础大模型（通用操作系统）完全成熟后，再集成到各自的业务流中，因此，在未来1年多时间内，整个行业中会处于剧烈的整合实践中，各家SaaS厂商都会根据自己的实际情况，动态地投入资源并不断调整开发范式。
我们粗略地将行业开发范式分为以下几种状态：
完全没有基础大模型 ===> 拥有较弱综合性能的基模大模型 ===> 拥有中等综合性能的基模大模型 ===> 拥有完美综合性能的基模大模型- 完全没有基础大模型：缺乏最基本条件，无法开发大模型相关开发工作
- 拥有较弱综合性能的基模大模型：基模大模型的预测能力几乎为零，迫于业务需求，只能通过SFT等技术，训练出服务于单一场景的专有LLM模型，仅能解决单一/少量场景问题，泛化能力很差
- ：基础大模型已经具备一定的指令理解和逻辑推理能力，但离直接完成领域任务依然存在一定距离（核心是）。处于这个阶段的厂商，需要双线作战，
- 提升预训练效果方向：通过扩大预训练的数据集范围以及质量，提升基础大模型的综合性能（建议投入80%以上精力）
- 提升微调效果方向（SFT或者二次预训练）：打开全参数微调，并在新领域任务数据（注意同样要满足多样性原则，避免单一领域数据）中混入一定比例（例如超过30%）原始预训练数据，以期获取综合性能优良的微调模型（建议投入20%精力）
- 拥有完美综合性能的基模大模型：基础大模型已经完美胜任目标领域任务，通过prompt engining可以实现超级灵活的“数据+prompt temple驱动的NLP Program”
除了到达“拥有完美综合性能的基模大模型”终态的厂商，其他处于早期/中期的SaaS厂商，他们的目标都是一样的，都是不断争取向终态靠拢：
追求“SFT/Fine-tune LLM”尽可能高的综合性能，尽量避免模型向特定领域任务的过拟合，以期获得综合性能优良的微调模型
处于过渡阶段的厂商，因为受限于基础大模型战略资源等条件，因此不得不在以下几个方面作出折中：
- 微调模型面向新领域任务泛化性能
- 微调模型保持原有领域任务能力保持
- 微调训练成本
- 原始预训练样本可得性
接下来，我们进一步分析一下影响“SFT/Fine-tune LLM”综合性能的因素，并讨论该如何缓解这些影响因素。
三、影响“SFT/Fine-tune LLM”综合性能的因素分析
通过VGG16微调实验，阐述影响“SFT/Fine-tune LLM”综合性能的因素。
- 基模型参数微调比例
- 原始预训练样本混入比例
0x1：全参数训练 and 一定比例预训练数据+新领域任务数据
0x2：全参数训练 and 100%新领域任务数据
0x3：freeze一定比例基模型并stacking新神经网络 and 一定比例预训练数据+新领域任务数据
0x4：freeze一定比例基模型并stacking新神经网络 and 100%新领域任务数据
综上，不管是做SFT-LLM还是二次预训练，最佳的做法是：
包含一定比例（例如30%以上）原始预训练数据，并开启全参数训练，这是避免微调模型陷入过拟合，获得最佳综合性能的一种最佳实践。核心思路都是希望下游微调模型也尽量具备泛化通用能力，尽量避免训练出服务于单一场景的专有LLM模型（仅能解决单一/少量场景问题）
标签：prompt,训练,模型,微调,基模,综合性,开发者,思考 From： https://www.cnblogs.com/LittleHann/p/17506649.html