首页 > 其他分享 >如何用通俗易懂的方式解释大模型中的SFT,SFT过程需要大量标记的prompt和response吗?

如何用通俗易懂的方式解释大模型中的SFT,SFT过程需要大量标记的prompt和response吗?

时间:2025-01-10 23:58:31浏览次数:3  
标签:prompt 训练 SFT 机器人 散步 做人 response 助理

想象你在培训一个超级助理

假设你新买了一个智能管家机器人,它已经看过海量的书籍和资料(这就是预训练过程)。但是呢,它还不太懂得"做人的艺术"——不知道该用什么语气说话、怎么回应你的需求。

现在你要训练它成为一个得体的助理,这就是SFT要做的事情。

SFT其实就是在教机器人"做人"

训练过程大概是这样的:

你:天气真好啊!
理想回复:是的呢!今天阳光明媚,特别适合出去散步。需要我帮您查查附近有什么适合散步的地方吗?
糟糕回复:根据气象数据显示,当前气温23.5度,湿度45%,风速3级...

通过这样的示例,我们在教机器人:不要像个气象站一样冰冷地报数据,要学会共情,给出温暖的回应,要懂得适时提供帮助。

那到底需要多少训练数据呢?

标签:prompt,训练,SFT,机器人,散步,做人,response,助理
From: https://blog.csdn.net/qq_63315166/article/details/145067681

相关文章

  • 2024-12-1-#{}与¥{}的区别-response
    {}与¥{}的区别response实现重定向response响应字符数据response响应字节数据以及导入工具类实现响应......
  • flux-prompt
    手绘风手绘风格。(5个女孩在一旁观看和相互玩耍),全身(劳瑞:1.2),露营,野餐,烧烤,冬季,雪,夜晚,儿童插画,杰作,最高品质。Hand-drawnstyle.(5girlswatchingandplayingwitheachother),wholebody(Laurie:1.2),camping,picnicking,barbecue,barbecue,winter,snow,night,chil......
  • Peft框架不提供merge_and_unload方法,如何进行peft方法和Base model的合并?以prefix tun
    Merge_peft_methods_prefix_and_prompt_tuning问题描述我想要把prefixtuning,prompttuning训练的参数和basemodel模型的参数合并,但是huggingface的peft框架只有lora存在merge_and_unload方法,其他的peft方法没有。那应该怎么办呢?这就是本文想解决的问题,把笔者踩得坑记录......
  • KnowledgePrompts: Exploring the Abilities of Large Language Models to Solve Prop
    本文是LLM系列文章,针对《KnowledgePrompts:ExploringtheAbilitiesofLargeLanguageModelstoSolveProportionalAnalogiesviaKnowledge-EnhancedPrompting》的翻译。KnowledgePrompts:通过知识增强提示探索大型语言模型解决比例类比的能力摘要1引言2相关......
  • 玩转LangChain:从模型调用到Prompt模板与输出解析的完整指南
    系列文章目录01-玩转LangChain:从模型调用到Prompt模板与输出解析的完整指南文章目录系列文章目录前言一、LangChain环境搭建与初始配置1.1安装依赖1.2环境变量加载1.2.1具体步骤1.2.2注意事项1.3初始化模型客户端二、基础示例:与模型交互2.1直接调用模型2.1.1......
  • 提示词工程(prompt)1:生成长文本时,ai会偷懒的问题
    问题:生成长文本时,ai会偷懒的问题?思考:为什么会偷懒?猜测是因为单次生成token限制,据查chatgpt单次回答最大token限制为4096,为了能在这个限制内完成回答,ai会在后面“偷懒”。注:一个汉字并不等于一个token,如需计算准确数,请自行搜索token计算器答案:分段生成,让ai单次回答数小于单......
  • AI算法专家总结的超实用Prompt 技巧,让AI更好更高效地为你服务
    欢迎来到AI应用探索,这里专注于探索AI应用。Prompt是人与AI沟通的桥梁,直接决定了AI生成内容的相关性和准确性。一个好的Prompt能帮助AI准确理解需求、生成更精准和实用的结果,同时节省时间和精力,提升工作效率。不论是内容创作、问题解答还是数据分析,一个好的Prompt都是激发AI潜......
  • springboot没加@ResponseBody注解导致的循环调用
    一、问题背景为了自定义后端返回异常,在代码中使用了全局异常处理器如下:@ControllerAdvicepublicclassGlobalExceptionHandler{privatestaticfinalLoggerlogger=LoggerFactory.getLogger(GlobalExceptionHandler.class);@ExceptionHandler(value=BusinessExcep......
  • 为什么要把数据模型分为:Entity,DTO,Response,Request呢?具体有什么作用呢
    开发中,我们通常把数据模型分为几个部分,探讨下他们具体都有那些作用。1.Entity(实体)实体类代表数据库表结构,与数据库表一一对应。//例如User.cspublicclassUser:BaseEntity{publicstringUsername{get;set;}publicstringPassword{get;set;}/......
  • 解密prompt系列46. LLM结构化输出代码示例和原理分析
    最近闭源大模型们都陆续支持结构化输出,这一章我们先结合demo看下开源和闭源对结构化输出的支持,随后会介绍ConstrainedDecoding和FormatRestrictingInstructions两种结构化输出约束方案,最后会给出结构化输出对比自然语言输出的一些观点。代码示例闭源-OpenAIhttps://pla......