首页 > 其他分享 >【每周一读】A Survey of Techniques for Maximizing LLM Performance

【每周一读】A Survey of Techniques for Maximizing LLM Performance

时间：2024-02-22 12:33:43浏览次数：27

标签：RAG Maximizing 示例模型微调 Survey LLM 上下文

标签：RAG,Maximizing,示例,模型,微调,Survey,LLM,上下文
From： https://www.cnblogs.com/Aikoin/p/18027068

【LLMOps】Triton + TensorRT-LLM部署QWen
背景TensorRT-LLM是Nvidia官方推出的大模型推理加速框架，目前只对部分显卡型号有做定制加速。最近新出的ChatwithRTX也是基于TensorRT-LLM进行的本地推理。TensorRT-LLM支持PagedAttention、FlashAttention、SafeTensor等手动，某些社区号称吞吐能力测试结果超过vLLM。准备显......
视频生成领域的发展概述:从多级扩散到LLM
2023年是语言模型(llm)和图像生成技术激增的一年，但是视频生成受到的关注相对较少。今年刚到2月份，OpenAI就发布了一个惊人的视频生成模型Sora。虽然它的架构没有披露，但是通过总结现有的视频生成领域可能能对Sora的构架有所理解。在这篇文章中，我们将整理视频生成在最近几年是发展......
Hugging Face-Transformers中的AutoModelForCausalLM 和 AutoTokenizer
AutoModelForCausalLM 和 AutoTokenizer 是HuggingFace的Transformers库中的两个类，用于处理自然语言处理（NLP）任务。AutoModelForCausalLM 是用于因果语言建模的模型的自动类，它可以加载不同的预训练模型进行文本生成任务。AutoTokenizer 用于加载与这些模型相对应的预训练分......
LLM研究之-NVIDIA的CUDA
一、什么是NVIDIA的CUDACUDA（ComputeUnifiedDeviceArchitecture）是由NVIDIA公司开发的一个并行计算平台和应用程序编程接口（API），它允许软件开发者和软件工程师使用NVIDIA的图形处理单元（GPU）来进行通用计算。简而言之，CUDA让开发者能够利用NVIDIA的GPU进行高效能的计算工作，这通常被称......
LLM与强化学习（一）
很早之前就想了解一下LLM到底是怎么和强化学习结合的，今天凑巧查资料的时候看到亚马逊的一篇文章，把知识点整理记录一下。1什么是RLHFRLHF代表“ReinforcementLearningfromHumanFeedback”，即基于人类反馈的强化学习。它是一种机器学习技术，利用人类反馈来优化模型，从而更有效......
读论文-基于会话的推荐系统综述(A survey on session-based recommender systems)
前言今天读的论文是一篇于2021年发表于"ACMComputingSurveys(CSUR)"的论文，文章写到，推荐系统在信息过载时代和数字化经济中非常重要。基于会话的推荐系统（SBRSs）是新的推荐系统范式，不同于其他模型化长期静态用户偏好的推荐系统，SBRSs专注于捕捉短期动态用户偏好。尽管SBRSs已被深......
大模型推理框架 vLLM 源码解析（一）
1.QuickStart创建如下代码，命名为run.pyfromvllmimportLLM,SamplingParamsprompts=[ "HaveyoufollowedmarsggboinZhihu?", "你一键三连了吗？"]#输入promptssampling_params=SamplingParams(temperature=0.8,top_k=50)#采样策略llm=LLM(model=&q......
读论文-协同过滤技术综述(A Survey of Collaborative Filtering Techniques)
前言今天读的一篇论文题目为《协同过滤技术综述》(ASurveyofCollaborativeFilteringTechniques)，文章发表于《人工智能研究进展》(AdvancesinArtificialIntelligence)。要引用这篇论文，请使用下述格式：XiaoyuanSu,TaghiM.Khoshgoftaar,"ASurveyofCollaborativeF......
【LLM】提示工程技术提炼精华分享
一、提示工程概述提示工程（PromptEngineering）是一门较新的学科，关注提示词开发和优化，帮助用户将大语言模型（LargeLanguageModel,LLM）用于各场景和研究领域。掌握了提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。提示工程相比较于微调（Fine-tuning）的成本和......
【每周一读】LLM Embeddings — Explained Simply
原文......

【每周一读】A Survey of Techniques for Maximizing LLM Performance

相关文章

赞助商

阅读排行