首页 > 其他分享 >Distilling System 2 into System 1

Distilling System 2 into System 1

时间:2024-07-19 11:30:35浏览次数:15  
标签:蒸馏 方法 into 系统 System LLM 推理 Distilling

本文是LLM系列文章,针对《Distilling System 2 into System 1》的翻译。

将系统2蒸馏成系统1

摘要

大型语言模型(LLM)可以在推理过程中花费额外的计算来生成中间思想,这有助于产生更好的最终响应。自思维链以来,已经提出了许多这样的系统2技术,如改写和响应、系统2注意力和分支求解合并。在这项工作中,我们研究了自监督方法,将系统2技术的更高质量输出“编译”(提取)回LLM代,而无需中间推理token序列,因为这种推理已被蒸馏到系统1中。我们表明,可以成功地蒸馏出几种这样的技术,与原始的系统1性能相比,结果有所改善,并且推理成本低于系统2。我们认为,系统2的蒸馏将是未来持续学习人工智能系统的一个重要特征,使它们能够将系统2的能力集中在它们还不能很好地完成的推理任务上。

1 引言

2 相关工作

3 将系统2蒸馏到系统1

4 实验

5 结论

最近的工作表明,在内环中使用LLM的复杂推理过程,称为系统2方法,可以提高性能。在这项工作中,我们表明,在许多情况下,可以将系统2的推理蒸馏到LLM的输出中,而无需中间生成,同时保持甚至有时提高性能。虽然并非所有方法都可以使用我们的方法轻松蒸馏,但复杂推理的思维链是一个具有挑战性的反例,对于不同的方法来说,这是可能的。我们的方法适用于系统2注意力,用于处理偏见和不相关的上下文,改写和响应,用于

标签:蒸馏,方法,into,系统,System,LLM,推理,Distilling
From: https://blog.csdn.net/c_cpp_csharp/article/details/140524044

相关文章

  • Cisco NX-OS System Software - ACI 16.0(6c)M
    CiscoNX-OSSystemSoftware-ACI16.0(6c)M适用于ACI模式下的CiscoNexus9000系列交换机系统软件请访问原文链接:https://sysin.org/blog/cisco-aci-16/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgCiscoNX-OS网络操作系统软件CiscoNX-OS操作系统助力......
  • 安装Windows subsystem Linux
    1.启用功能在系统设置里面,启用子系统功能。2.安装从商店安装或者命令行安装3.初始化报错1: ​造成该问题的原因是WSL版本由原来的WSL1升级到WSL2后,内核没有升级,前往微软WSL官网下载安装适用于x64计算机的最新WSL2Linux内核更新包即可。报错2:Windows子系统初始化......
  • 电脑开机报错operating system not found解决方法
          最近有网友问我电脑一启动提示:operatingsystemnotfound,这个提示意思是未找到操作系统。该提示主要原是此电脑启动没有检测可启动的操作系统,原因有很多,比如设置的第一启动项不对、硬盘数据线没接好、硬盘故障等都有可能导致,下面我们来详细分析一下开机出现ope......
  • 多种模块格式,包括 ES, CommonJS, UMD, AMD, SystemJS 和 IIFE的区别点分别是什么
    【转】https://zhuanlan.zhihu.com/p/668530823以下是各种模块格式的主要特点:ESModules(ESM):这是ECMAScript6(ES6)引入的官方标准格式。它支持导入和导出语句,以及静态分析和tree-shaking。它是唯一的静态模块系统,意味着你可以在编译时确定导入和导出的内容。CommonJS(C......
  • Systemd设置开机自启
    一、systemd使用1.创建systemd服务文件创建一个新的systemd服务文件,websocket.service为服务名sudovim/etc/systemd/system/websocket.service[Unit]Description=WebSocketServiceAfter=network.target[Service]ExecStart=/home/li/websocket/websocketWorkin......
  • Windows11系统System.Design.dll文件丢失问题
    其实很多用户玩单机游戏或者安装软件的时候就出现过这种问题,如果是新手第一时间会认为是软件或游戏出错了,其实并不是这样,其主要原因就是你电脑系统的该dll文件丢失了或没有安装一些系统软件平台所需要的动态链接库,这时你可以下载这个System.Design.dll文件(挑选合适的版本文件)......
  • Win11系统提示找不到System.Data.Linq.dll文件的解决办法
    其实很多用户玩单机游戏或者安装软件的时候就出现过这种问题,如果是新手第一时间会认为是软件或游戏出错了,其实并不是这样,其主要原因就是你电脑系统的该dll文件丢失了或没有安装一些系统软件平台所需要的动态链接库,这时你可以下载这个System.Data.Linq.dll文件(挑选合适的版本文......
  • Linux 【systemctl 】服务管理器
    1.start/stop#启动一个服务并在后台运行它systemctlstart[service]#停止当前正在运行的服务systemctlstop[service]#停止正在运行的服务,然后重新启动它systemctlrestart[service]#-------------------------------#示例:开启sshd服务systemctlstartsshd#示例:......
  • Design of a Brake-By-Wire System for Car
     PortfolioforSafety-DirectedDesignofaBrake-By-WireSystemforCarCourseworkfor661985–SafetyCriticalSystemsPart2–DynamicReliabilityAnalysisandSystemAdaptationforElectronicStabilityThePortfolioexplorestheiterativedesignofa......
  • docker centos7 镜像 systemctl 报错 Failed to get D-Bus connection: Operation not
    从docker下载默认的CentOS镜像没有开启systemd,执行systemctl命令会显示“FailedtogetD-Busconnection:Operationnotpermitted”错误,如果docker创建centos7的容器涉及到systemctl服务操作,或者需要实现容器开机后自动启动服务功能。需要调整镜像并且修改镜像启动方式......