首页 > 其他分享 >Efficient Prompting Methods for Large Language Models: A Survey

Efficient Prompting Methods for Large Language Models: A Survey

时间:2024-08-25 18:26:42浏览次数:14  
标签:高效 Methods Language Prompting 提示 Large 概述 LLM 方法

本位是LLM系列文章,针对《Efficient Prompting Methods for Large Language Models:A Survey》的翻译。

大型语言模型的高效提示方法综述

摘要

提示已成为使大型语言模型(LLM)适应特定自然语言处理任务的主流范式。虽然这种方法为LLM的上下文学习打开了大门,但它带来了模型推理的额外计算负担和手动设计提示的人工工作,特别是在使用冗长复杂的提示来指导和控制LLM行为时。因此,LLM领域出现了高效提示方法的显著激增。本文对这些方法进行了全面的概述。从较高的层次上讲,高效的提示方法大致可分为两种:高效计算提示和高效设计提示。前者涉及各种压缩提示的方法,后者采用自动优化提示的技术。我们介绍了激励的基本概念,回顾了高效激励的进展,并强调了未来的研究方向。

1 引言

2 概述

3 高效计算提示

标签:高效,Methods,Language,Prompting,提示,Large,概述,LLM,方法
From: https://blog.csdn.net/c_cpp_csharp/article/details/141532242

相关文章

  • Exploring the Nexus of Large Language Models and Legal Systems: A Short Survey
    本文是LLM系列文章,针对《ExploringtheNexusofLargeLanguageModelsandLegalSystems:AShortSurvey》的翻译。探索大型语言模型与法律制度的联系:一个简短的调查摘要1引言2大型语言模型在法律任务中的应用3不同国家和地区的微调大型语言模型4大型语言......
  • 【论文阅读】TBA Faster Large Language Model Training Using SSD Based Activation
    摘要GPU内存容量的增长速度跟不上大型语言模型(llm)的增长速度,阻碍了模型的训练过程。特别是,激活——在前向传播过程中产生的中间张量,并在后向传播中重用——主导着GPU内存的使用。为了应对这一挑战,我们建议TBA将激活有效地卸载到高容量NVMessd上。这种方法通过自适应地将数据传......
  • InstructGPT: Training language models to follow instructions with human feedback
    文章目录1.InstructGPT目标2.数据集2.1SFT数据集2.2RM数据集2.3PPO数据集3.训练细节3.1SFT训练3.2RM训练3.3RLHF训练4.结论1.InstructGPT目标InstructGPT探讨了如何通过人类反馈来训练语言模型以更好地遵循用户的意图。通过对模型进行监督学习和强化......
  • M3KE: A Massive Multi-Level Multi-Subject Knowledge Evaluation Benchmark for Chi
    文章目录题目摘要简介相关工作M3KE实验结论题目M3KE:面向中文大型语言模型的海量多层次多学科知识评估基准论文地址:https://arxiv.org/abs/2305.10263项目地址:https://github.com/tjunlp-lab/M3KE摘要    大型语言模型最近在跨任务泛化、指令跟随等多个......
  • 新手常见错误:Language level is invalid or missing in pom.xml. Current project JDK
    目录Blue留声机:分析报错 Blue留声机:今天开一个maven的时候遇到这样一个报错,这个报错对于我来言是一个并不陌生的报错,早期学习spring框架的时候,遇到过这个问题,当时怎么也弄不出来(现在想想那个时候的我真菜),现在却对这种问题的解决游刃有余。好了,不多bb了,看看我一般处理bu......
  • ChatGPT Prompting Cheat Sheet备忘
    ChatGPTPromptingCheatSheet备忘今天先到这儿,希望对AIGC,云原生,技术领导力,企业管理,系统架构设计与评估,团队管理,项目管理,产品管理,信息安全,团队建设有参考作用,您可能感兴趣的文章:构建创业公司突击小团队国际化环境下系统架构演化微服务架构设计视频直播平台的系统架构......
  • 【学习日记3】DAIL-SQL论文:Text-to-SQL Empowered by Large Language Models: A Bench
    PS:自己回顾用的ABSTRACT        大型语言模型(LLMs)已成为Text-to-SQL任务的新模式。然而,缺乏系统的基准测试限制了有效、高效和经济的基于LLM的Text-to-SQL方案的发展。为了解决这一挑战,本文首先对现有的提示工程方法进行了系统且广泛的比较,包括问题表示、示例......
  • vue中methods、mounted等的使用方法解析
    created:html加载完成之前,执行。执行顺序:父组件-子组件mounted:html加载完成后执行。执行顺序:子组件-父组件methods:事件方法执行watch:去监听一个值的变化,然后执行相对应的函数computed:computed是计算属性,也就是依赖其它的属性计算所得出最后的值 vue中localstorage用法......
  • SciTech-BigDataAI-ImageProcessing-OpenCV-How to Use Background Subtraction Metho
    https://docs.opencv.org/3.4/d1/dc5/tutorial_background_subtraction.htmlHowtoUseBackgroundSubtractionMethodsNextTutorial:MeanshiftandCamshiftBackgroundsubtraction(BS)isacommonandwidelyusedtechniqueforgeneratingaforegroundmask(na......
  • Enhancing Question Answering for Enterprise Knowledge Bases using Large Language
    本文是LLM系列文章,针对《EnhancingQuestionAnsweringforEnterpriseKnowledgeBasesusingLargeLanguageModels》的翻译。使用大型语言模型增强企业知识库的问答能力摘要1引言2相关工作3前言4方法5实验6结论摘要高效的知识管理在提高企业和组......