Explicit Inductive Inference using Large Language Models

时间：2024-09-28 10:21:15浏览次数：8

标签：偏差 Inference Language Models 显式证明 LLM 归纳推理推理

本文是LLM系列文章，针对《Explicit Inductive Inference using Large Language Models》的翻译。

使用大型语言模型进行显式归纳推理

摘要
1 引言
2 相关工作
3 显示归纳推理
4 实验设置
5 结果和讨论
6 结论
局限性

摘要

据报道，大型语言模型 (LLM) 在推理任务上存在不良证明偏差：当被要求预测前提 P 是否包含假设 H 时，LLM 倾向于使用脱离上下文的假设 H，而不是考虑 P 所包含的 H 的条件真实性。 H 作为脆弱代理的真值标签。在本文中，我们提出了一种利用这种偏差进行显式归纳推理的管道。我们的管道使用LLM将前提转换为一组经过验证的替代方案，然后汇总派生的新蕴涵查询的答案以支持原始推理预测。在定向谓词蕴涵基准上，我们证明，通过应用这个简单的管道，我们可以提高LLM在推理方面的整体性能，并大大减轻其证明偏差的影响。

1 引言

2 相关工作

3 显示归纳推理

4 实验设置

5 结果和讨论

6 结论

我们提出了一个显式归纳管道，利用LLM的证明偏差来进行更稳健的谓词推理。通过对定向 Levy/Holt 数据集及其证明偏差分割子集的实验，我们表明，我们的基线比 LLM 的主要推理性能有了显着提高

标签：偏差,Inference,Language,Models,显式,证明,LLM,归纳推理,推理
From： https://blog.csdn.net/c_cpp_csharp/article/details/142548106

A Closer Look into Mixture-of-Experts in Large Language Models
本文是LLM系列文章，针对《ACloserLookintoMixture-of-ExpertsinLargeLanguageModels》的翻译。仔细研究大型语言模型中的专家混合摘要1引言2前言：混合专家3概述4静态参数分析5动态行为分析6讨论7相关工作8结论9局限性摘要专家混合（MoE）因其......
LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models
本文是LLM系列文章，针对《LogParser-LLM:AdvancingEfficientLogParsingwithLargeLanguageModels》的翻译。LogParser-LLM：利用大型语言模型推进高效日志解析摘要1引言2相关工作和动机3日志解析粒度4方法5实验6结论摘要日志是无处不在的数字足迹......
Pruning Large Language Models with Semi-Structural Adaptive Sparse Training
本文是LLM系列文章，针对《PruningLargeLanguageModelswithSemi-StructuralAdaptiveSparseTraining》的翻译。通过半结构化自适应稀疏训练修剪大型语言模型摘要1引言2相关工作3方法4实验5结论摘要大型语言模型（LLM）在各种复杂任务中的巨大成功在很......
关于Clion汉化失败Plugin “Chinese (Simplified) Language Pack / 中文语言包“ was
关于Clion汉化失败出现Plugin"Chinese(Simplified)LanguagePack/中文语言包"wasnotinstalled:Invalidfilenamereturnedbyaserver意思是你安装的汉化包不可被识别，截止到23/7/22pluginsmarket搜索到的汉化包版本不再能兼容21版本的clion了解决方法有两个1.升......
LoRA: Low-Rank Adaptation of Large Language Models 笔记
问题背景⼤模型通常包含数亿甚⾄数百亿个参数，对其进⾏微调需要⼤量的计算资源和存储空间。在微调过程中，直接修改预训练模型的所有参数可能会破坏模型的原始性能。存储和部署微调后的⼤模型需要⼤量存储空间，尤其是当需要在多个应⽤场景中部署不同微调版本时。许多微调⽅法会增......
如何在生成式AI里使用 Ray Data 进行大规模 RAG 应用的 Embedding Inference
检索增强生成(RAG，即RetrievalAugmentedGeneration)是企业级生成式AI（GenAI）应用的热门案例之一。多数RAG教程演示了如何利用OpenAIAPI结合Embedding模型和大语言模型（LLM）来进行推理（Inference）。然而，在开发过程中，如果能使用开源工具，就可以免去访问自己数据的费用，同时也能加......
LLM大模型: Denoising Diffusion Probabilistic Models 原理解析与核心代码
根据文本生成图片是AI的核心应用之一，2020年后主流的生成方式都是基于DenoisingDiffusionProbabilisticModels原理的，逐渐替代了之前使用GAN的方式生成图片！那么DDPM为啥能取代GAN了？其优势在哪？或者说GAN的劣势在哪？ 1、CLIP模型都知道吧？text和image都通过各自的enco......
大型语言模型(Large Language Models)的介绍
背景大型语言模型（LargeLanguageModels，简称LLMs）是一类先进的人工智能模型，它们通过深度学习技术，特别是神经网络，来理解和生成自然语言。这些模型在自然语言处理（NLP）领域中扮演着越来越重要的角色。以下是大型语言模型的一些关键特点和应用：1.定义和工作原理定义：大型语言模型是基于大......
A Survey on Large Language Models with Multilingualism: Recent Advances and New
本文是LLM系列文章，针对《ASurveyonLargeLanguageModelswithMultilingualism:RecentAdvancesandNewFrontiers》的翻译。多语言大型语言模型调查：最新进展和新前沿摘要1引言2前言3具有多语言功能的大型语言模型4多语言推理策略5多语言大型语言模型......
A SURVEY ON FAIRNESS OF LARGE LANGUAGE MODELS IN E-COMMERCE: PROGRESS, APPLICATI
本文是LLM系列文章，针对《ASURVEYONFAIRNESSOFLARGELANGUAGEMODELSINE-COMMERCE:PROGRESS,APPLICATION,ANDCHALLENGE》的翻译。电子商务中大型语言模型公平性的调查：进展、应用与挑战摘要1引言2电子商务LLM的原则3偏差挑战4电子商务应用5未来方......