首页 > 其他分享 >使用思维链(Chain-of-thoughts)提示在大型语言模型中引出推理

使用思维链(Chain-of-thoughts)提示在大型语言模型中引出推理

时间:2023-05-08 09:55:12浏览次数:43  
标签:语言 Chain 引出 模型 LM LLM 自然语言 推理 thoughts

语言模型(LM)在NLP领域的发展速度非常快,特别是在大型语言模型(LLM)方面:当语言模型具有大量参数或权重/系数时,它们被称为“大型”。这些“大型”语言模型拥有处理和理解大量自然语言数据的能力。

LLM被用于一系列自然语言任务,如文本摘要、情感分析、主题分类、语言翻译、自动完成等。扩展LM的一些广泛的好处包括提高性能、泛化和效率,虽然这些模型执行的大多数任务都受益于扩展,但像算术、常识和符号推理这样的任务在扩展模型时没有看到性能的提高。

这就引出了“思维链提示”的方法,通过生成一系列中间推理步骤或思维链来提高法LLM 的复杂推理能力。这种方法基于两个想法:1、考虑到LM可以被训练来生成自然语言的中间步骤,增加自然语言的基本原理可能是一个额外的好处;2、当通过上下文少样本方法提示时,LLM在问答任务中取得了显著的成功。但在实践中,为训练训创造大量的理由是费时费力的。所以将这两种思想结合起来,就产生了一个模型,只要有几个由<input, chain-of-though, output>三元组组成的提示,模型的性能会得到改善。

完整文章:

https://avoid.overfit.cn/post/f281ad2e54614d029c8061cc693376ed

标签:语言,Chain,引出,模型,LM,LLM,自然语言,推理,thoughts
From: https://www.cnblogs.com/deephub/p/17380827.html

相关文章

  • Flink Chain任务链分隔
    Chain分隔文章目录Chain分隔如何切断任务链?startNewChain与disableChaining区别全局切断任务链(chain)web端效果查看隔离后依赖链忙碌程度什么是Backpressured(被压/反压)?代码样例参考文献如何切断任务链?由于共享slot的存在,当一个任务链的计算量特别庞大时,且只在一个slot上执行......
  • 时间可逆的马氏链(Time Reversible Markov Chain)
    逆向过程考虑一个具有转移概率\(P_{ij}\)和平稳概率\(\pi_i\)的已经达到平稳状态的遍历的(不可约+非周期+正常返)马尔科夫链。假设这个马氏链在平稳态的状态序列是\(\{X_m,X_{m+1},\cdots\}\),现在我们沿时间的反方向来看这条链,具体地,我们希望考察\(P(X_m=j|X_{m+1}=i,X_{......
  • CF1814E Chain Chips & CF750E New Year and Old Subsequence - 动态 dp -
    一句话概括动态dp:用来解决带修改/多次区间询问的dp问题。将转移写成矩阵的形式,然后利用线段树求解区间问题/单点修改1814E注意一条边要么选2要么选0次,而且第一条边一定是选了2次。如果有一条边没选,那么这条边两侧的边一定都选了。设\(f_i\)代表考虑到第\(i\)条边,......
  • Markov Chain Monte Carlo(MCMC) 方法
    MonteCarlo方法假设我们要求一个原函数并不明确的函数\(f(x)\)的在某个区间\([a,b]\)上的积分\(\theta=\int_{a}^bf(x)dx\)因为\(f(x)\)的原函数不知道,所以无法用牛顿-莱布尼茨公式计算。这里采用一种称为montecarlo的方法来模拟近似求解,它的思想如下,首先将待求的式子化......
  • Langchain框架 prompt injection注入
    Langchain框架promptinjection注入PromptInjection是一种攻击技术,黑客或恶意攻击者操纵AI模型的输入值,以诱导模型返回非预期的结果Langchain框架LangChain是一个基于大语言模型进行应用开发的框架。所谓大语言模型(LargeLanguageModels,LLMs),是指基于海量语料训练、......
  • LangChain vs Semantic Kernel
    每当向他人介绍SemanticKernel,会得到的第一个问题就是SemanticKernel类似于LangChain吗,或者是c#版本的LangChain吗?为了全面而不想重复的回答这个问题,因此我写下这篇文章。在ChatGPT之前,构建集成AI的应用程序的主要分为两个步骤:机器学习工程师/数据科学家创建模型,然后通......
  • blockchain | 交叉编译armv8的pbc库
    blockchain|交叉编译armv8的pbc库这块儿网上是没啥具体的资料的,因为要测试pbc库在安卓上的性能,但是网上pbc的支持只到armv7,就只能自己编译了。大致流程:下载gmp库源码下载pbc库源码编译gmp编译pbc编译测试程序这里使用的是aarch64-linux-gnu-g++andaarch64-linux-gnu......
  • Chain of Thought(思维链)
    "思维链"(ChainofThought)是指一系列有逻辑关系的思考步骤或想法,这些步骤或想法相互连接,形成了一个完整的思考过程。它是指导我们思考和解决问题的一种方法,可以帮助我们更好地理解问题、分析问题和解决问题。一个有效的思维链应该具有以下特点:逻辑性:思维链中的每个思考步骤都应......
  • Rust中的迭代器的使用:map转换、filter过滤、fold聚合、chain链接
    什么是迭代器Rust中的迭代器是一种强大的工具,它提供了一种灵活、通用的方法来遍历序列。迭代器是实现了Iteratortrait的类型,并需要至少实现一个next函数,用于让迭代器指向下一个迭代对象,并返回一个Option用于指示对象是否存在。fnnext(&mutself)->Option<Self::Item>;迭......
  • SpringSecurity源码之WebSecurity构建FilterChainProxy
    主要参考了https://mp.weixin.qq.com/s/D0weIKPto4lcuwl9DQpmvQ。SpringSecurity版本是2.7.9。将SpringBoot和SpringSecurity结合使用,SpringSecurity自动配置类是SecurityAutoConfiguration.class。 @AutoConfiguration@ConditionalOnClass({DefaultAuthenticationEventPubli......