【大模型入门指南】系列文章：
- 【大模型入门指南 01】深度学习入门
- 【大模型入门指南 02】LLM大模型基础知识
- 【大模型入门指南 03】提示词工程
- 【大模型入门指南 04】Transformer结构
- 【大模型入门指南 05】LLM技术选型
- 【大模型入门指南 06】LLM数据预处理
- 【大模型入门指南 07】量化技术解析
- 【大模型入门指南 08】微调和分布式训练
- 【大模型入门指南 09】LLM和多模态模型高效推理实践
- 【大模型入门指南 10】LLM 部署
- 【大模型入门指南 11】大模型自动评估理论和实战
- 【大模型入门指南 12】LISA微调技术解析
- 【大模型入门指南 13】从 OpenAI-O1 看大模型的复杂推理能力
- 【大模型入门指南 14】Agent微调实战
- 【More…】
本文目录
方法选型
判断自己的场景需要什么样的方法是使用LLM的第一步。下面我们会对比直接推理（提示词工程）、训练、RAG、Agent方法的具体场景，讲解这几种方式的特点，并给出适用场景、使用难度、准确性、成本、缺点几个方面的总结。
直接推理（提示词工程）
这种方式特指直接使用现有LLM，利用prompt范式激活模型不同的能力完成特定需求。直接推理方式对开发的要求较低，一般可以完成通用类型的任务，如通用知识问答、角色扮演等。使用方式如下：
用户：你是一个经验丰富的导游，请使用导游的话术回答游客的问题。
模型：当然可以！请问你需要问些什么呢？
用户：我想去杭州旅行，请告诉我哪里比较值得去。
模型：当然可以！作为一个导游，我可以为你讲解杭州的风景和美食...
使用难度
- 较低，只需要调用模型接口，编写对应的prompt即可。但编写好的prompt也是具有一定技巧的，具体可以查看我们的教程中的提示词工程部分。
提示词工程无论是直接推理或训练后推理都是需要的。
适用场景
- 视模型本身的能力而定，在采用该方式之前需要对现有模型针对自己的业务领域进行较为充分的评估。
准确性
- 由于是原始模型只接受了通用知识的训练，因此在特定领域的场景下可能存在胡编乱造的可能性（幻觉问题）。使用者需要注意自己的专业场景下是否使用该通用模型能解决所有问题，一般建议直接试用该模型给出模型能力的具体评估。
成本
- 开发成本较低。如果是开源模型，需要选用合适的硬件及推理方式。这部分在我们教程中的推理章节会有讲解。如果是闭源调用，只需要使用对应模型的接口API即可。
缺点
- 由于模型没有经过针对特有领域的知识，因此效果会比较不可控。比如，在评测时模型表现尚可，但在实际使用中发现模型出现了严重的幻觉和知识匮乏问题，如果是闭源调用则该问题会比较难以解决（可能涉及到工程架构改变），如果是开源模型可以考虑使用训练和RAG的方式解决。