首页 > 其他分享 >人大&百度提出个性化插件式LLM

人大&百度提出个性化插件式LLM

时间:2024-09-30 14:54:35浏览次数:10  
标签:插件 LLM encoder 个性化 embedding 输入 user

LLM目前最有前景的应用之一就是超级助手,其中个人超级助手早晚躲不开个性服务,因为即使有相同需求的用户,也可能偏好不同的输出。以通用人工智能著称的LLM又要怎么开启个性化服务呢?

给每个用户单独微调一个LLM在toC端肯定是不现实的,即使是用各种PEFT的奇淫巧技,也能把公司底裤都亏没了。

最简单的,历史对话可以和当前输入拼接一起输入LLM中得到上下文相关的回答。这种适用于冷启,但使用时间久了,对话内容多,计算量超标不说,也可能引入噪声干扰模型的回答。

稍好一点的利用RAG,检索历史对话有可能有信息增益的部分作为输入补充信息。但这种硬抽取的策略可能会打断用户历史的连续性,并且无法捕捉到用户的整体风格和模式,导致性能不佳。

还有没有别的方法?譬如现有个性化推荐系统中的做法,将user embedding/user行为历史/user属性信息 作为特征输入到模型中,算是soft RAG

人大和百度联合发表的这篇论文《LLMs + Persona-Plug = Personalized LLMs》正是提出了这个思路的一种解决方案。我们主要了解下是如何提炼user embedding和怎么输入LLM实现个性化信息注入的。

图片

图片

用了轻量的双向attention模型作为encoder(BGE-based,约220M),为保障训练稳定性,用户历史的encoder固定参数,只finetune当前输入的encoder。

得到历史embedding和当前输入的embedding后,需要有个信息交互/融合模块,得到最终的user embedding,其实套路跟个性化推荐中的基本一样,就是attention:

图片

其中Proj(2层MLP)是将encoder空间映射到LLM空间。

那怎么输入LLM呢?

在最前面拼接Instruction embedding(前人研究这有助于让模型注意到指令需求,和其他常规任务区分开,其实就是soft prompt),然后是上面得到的user embedding,接着是用户当前输入,让LLM输出。训练时LLM参数固定,只微调Instruction embedding、encoder和Proj的参数。这样去掉这些个性化插件,原来的模型还是正常用,加进去就实现个性化功能,实现插件可灵活插拔。

最终结果也是好于现有Retrieval Base Personalized的方法的。

图片

这个头一开,接下来就可以把推荐的那些用户行为序列建模的各种套路都抄过来了,什么各种类型的序列,超长序列,各种attention交互,来提炼更好的user embedding,enjoy yourselves

附录

https://arxiv.org/pdf/2409.11901

https://huggingface.co/BAAI/bge-base-en-v1.5

欢迎微信扫码关注nlp之路,发送LLM领取奖品~

标签:插件,LLM,encoder,个性化,embedding,输入,user
From: https://blog.csdn.net/jude2013/article/details/142656736

相关文章

  • SciTech-Automation-UI交互自动化: Microsoft 的 接口自动化测试 : 微信的: LLM(AI/Tr
    用LLM+Python实现微信消息的自动应答!/usr/bin/python3#coding:utf-8importpandasaspdimportnumpyasnpfromuiautomationimportwindowControl,Menucontrolfromfunctoolsimportpartial,wraps#readreplydatadf=pd.read_csv("应答数据.csv",......
  • Winter Suite 冬季寒冷环境渲染着色器工具插件
    冬季套件为您提供了高质量渲染冬季或寒冷环境的钥匙。目前,已发布和正在制作的游戏都在使用冬季套装,该套装由多种产品组成,如具有先进动态特性的雪材料和霜冻相机效果。WebGL:1视频:1网络播放器:1|2特征:•动态覆盖和混合•渲染路径(正向和延迟)•高级BRDF着色控制......
  • 听见未来:AI音乐生成,个性化音乐新体验!
    音乐一直是人类文化的重要组成部分,它不仅能表达深刻的情感,还有着极高的艺术价值。随着科技的进步,尤其是人工智能技术的快速发展,AI现在已经能够参与到音乐创作中,甚至可以根据用户的需求来创作个性化的配乐。这一技术的应用非常广泛,涵盖了广告、电影、游戏等多个行业。今天我们就来......
  • 【2024精华版】从零开始的大模型LLM学习全攻略:一文掌握从入门到精通
    ChatGPT的出现在全球掀起了AI大模型的浪潮,2023年可以被称为AI元年,AI大模型以一种野蛮的方式,闯入你我的生活之中。从问答对话到辅助编程,从图画解析到自主创作,AI所展现出来的能力,超出了多数人的预料,让不少人惊呼:“未来是属于AI的”。AI大模型——成为互联网从业者必备技能。......
  • 独家发布:全面大模型LLM学习路线图揭晓!非常详细收藏我这一篇就好了!
    ChatGPT的出现在全球掀起了AI大模型的浪潮,2023年可以被称为AI元年,AI大模型以一种野蛮的方式,闯入你我的生活之中。从问答对话到辅助编程,从图画解析到自主创作,AI所展现出来的能力,超出了多数人的预料,让不少人惊呼:“未来是属于AI的”。AI大模型——成为互联网从业者必备技能。......
  • 若依前后端分离版集成x-file-storage插件实现文件上传(以华为云obs为例)
    1.x-file-storage官网  https://x-file-storage.xuyanwu.cn/#/2.打开华为云官网 https://activity.huaweicloud.com/  ①左上角菜单栏中选择产品,输入obs存储            ②根据自己的业务需求选择规格即可            ③购买......
  • notepad++安装HexEditor插件查看二进制文件
    notepad++安装HexEditor插件查看二进制文件前言有时候我们需要分析二进制文件,但是分析二进制文件直接用编辑器查看会出现乱码的情况,本文在notepad++软件上安装一个HexEditor插件,可方便分析二进制文件。一、下载HexEditor插件打开下面的网址,下载HexEditor插件https://sou......
  • RKLLM部署
    RKLLM写在前面:建议去阅读官方提供的RKLLMdoc,本文基于官方的RKLLMdoc制作而成(没有将flask相关内容添加进来),仅仅添加了完整流程的执行过程截图和在做这以流程过程中遇到的问题RKLLM可以帮助用户快速将人工智能模型部署到Rockchip芯片上。仓库:https://github.com/airock......
  • 使用Ollama部署本地LLM:构建AI REST API的简易指南
    关注TechLead,复旦AI博士,分享AI领域全维度知识与研究。拥有10+年AI领域研究经验、复旦机器人智能实验室成员,国家级大学生赛事评审专家,发表多篇SCI核心期刊学术论文,上亿营收AI产品研发负责人。利用Ollama本地LLM(大语言模型)搭建AI的RESTAPI服务是一个实用的方法。下面是一个简单......
  • 将 LLMs 精调至 1.58 比特: 使极端量化变简单
    随着大语言模型(LLMs)规模和复杂性的增长,寻找减少它们的计算和能耗的方法已成为一个关键挑战。一种流行的解决方案是量化,其中参数的精度从标准的16位浮点(FP16)或32位浮点(FP32)降低到8位或4位等低位格式。虽然这种方法显著减少了内存使用量并加快了计算速度,但往往......