首页 > 其他分享 >BinLLM论文阅读笔记

BinLLM论文阅读笔记

时间:2024-09-09 18:35:21浏览次数:12  
标签:BinLLM 二进制 论文 笔记 协作 信息 LLM 序列 文本

Text-like Encoding of Collaborative Information in Large Language Models for Recommendation论文阅读笔记

Abstract

现存的问题:

​ 在调整用于推荐的大型语言模型(LLMRec)时,整合协作信息至关重要。现有的方法通过从头开始学习 LLM 潜在空间中的协作嵌入或通过外部模型的映射来实现这一目标。但是,这些方法无法以类似文本的格式表示信息,而这种格式可能无法与 LLM 达到最佳匹配。

提出问题:

​ 为了弥补这一缺陷,我们引入了 BinLLM,这是一种新颖的 LLMRec 方法,可通过类文本编码无缝整合协作信息。BinLLM 可以将外部模型的协作嵌入转换成二进制序列--一种 LLM 可以理解并直接操作的特定文本格式,从而方便 LLM 直接使用类文本格式的协作信息。此外,BinLLM 还提供了使用点十进制符号压缩二进制序列的选项,以避免长度过长。

Introduction

​ 由于大语言模型(LLMs)的强大功能,人们越来越关注将其应用于推荐系统(LLMRec),在过去的一年中,这一研究取得了重大进展。在推荐中,协作信息(描述了用户与项目之间互动的共现模式)已成为用户兴趣建模的重要组成部分,尤其是对活跃用户和项目而言。然而,这些信息的存在方式与文本数据不同,因此在像文本信息那样直接被 LLM 利用时面临着挑战。要提高推荐质量,将协作信息无缝整合到 LLM 中无疑至关重要。

​ 迄今为止,出现了两种整合策略。第一种策略类似于潜在因素模型,在 LLMs 中加入额外的标记和相应的嵌入来表示用户和项目,随后拟合交互数据以隐含地捕捉嵌入中的协作信息。然而,由于信息固有的低等级性质,这种方法的学习效率较低,导致 LLMs 中的标记化冗余。为了应对这些挑战,另一种方法是利用外部潜在因素模型来捕捉信息,然后将其映射到 LLM 标记嵌入空间,从而避免了从头开始学习的需要。这种方法虽然有效,但却带来了训练映射模型的额外开销。

​ 无论是直接在 LLM 标记嵌入空间中从头开始学习协作信息,还是从外部模型中映射协作信息,所产生的表征都与 LLM 的原始文本级编码存在很大差异。这在一定程度上阻碍了 LLM 能力的充分发挥,因为 LLM 最初是根据文本数据训练的,擅长处理文本编码信息。例如,引入新的标记会改变 LLM 的生成空间,可能会影响其原有功能,更不用说发挥其能力了。因此,在 LLMs 中探索类似文本的协作信息编码大有可为。然而,由于文本和协作信息模式之间的固有差异,这也带来了挑战。

​ 在本研究中,我们深入探讨了在 LLM 中编码协作信息以进行推荐这一核心主题,这是 LLMRec 尚未探索的一个前景广阔的领域。关键在于将协作信息转化为类似文本格式的序列。我们认为,这种类似文本的序列不一定要能被人类理解;相反,它应该能被 LLMs 解释,以便有效利用,例如通过序列比较来促进推理任务,如辨别用户和项目的相似性。因此,这种文本序列并不一定要遵循传统的自然语言模式。

​ 为此,我们引入了 BinLLM,这是一种创新的 LLMRec 方法,它使用类似文本的编码策略将协作信息整合到 LLM 中。我们将从外部模型获得的协作嵌入转化为二进制序列,将其视为 LLM 可直接使用的文本特征。这种设计主要出于两个考虑: 1) 在不影响性能的情况下对协作嵌入进行二进制化的可行性;2) LLMs 可以自然地执行位操作或在指令调整后执行位操作,从而能够比较二进制化序列之间的相似性。

​ 再进一步,我们探索用点-十进制符号来表示二进制序列,从而获得更短的表示方法,类似于将二进制序列转换为 IPv4 地址。通过使用包含此类编码协作信息的推荐指令数据对 LLM 进行微调,我们可以在不修改 LLM 的情况下利用文本语义和协作数据进行推荐。

​ 本文的主要贡献如下:

  • 我们强调在 LLMRec 中对协作信息进行文本式编码的重要性,以增强与 LLM 的一致性。
  • 我们介绍了 BinLLM,这是一种新颖的方法,通过将协作嵌入转换为二进制序列,以文本形式为 LLM 高效编码协作信息

Method

​ 在本节中,我们将介绍我们的 BinLLM 方法,首先介绍模型结构,然后介绍微调方法。

模型架构

​ 图 1 描述了 BinLLM 的模型架构,包括两个主要部分:提示生成和 LLM 预测。与之前的方法类似,我们将推荐数据转换成提示,然后直接输入 LLM 进行预测。不过,BinLLM 的主要区别在于,它通过将协作嵌入转换为二进制序列,以类似文本的格式表示协作信息。接下来,我们将深入探讨这两个组件的具体细节。

pAmF9US.png

提示构建

​ 如图 1 所示,我们使用以空字段为特征的模板来构建提示,其中包括文本字段(如“”)和 ID 字段(如“”)。请参见表 1 中的模板示例。通过在这些字段中填入相应的用户数据,我们可以生成用于推荐目的的个性化提示。文本字段用于包含文本信息,可直接用推荐数据集中的相应文本数据填充,例如“”字段中的历史项目标题。ID 字段指定用于嵌入协作信息,协作信息通过类文本编码(TE)模块获取。接下来,我们将深入探讨协作信息的编码过程。

协作信息的类文本编码

​ 为了更好地与 LLM 集成,我们的目标是将协作信息编码成类似文本的格式。为此,我们将协作信息转换为二进制序列,使 LLM 能够执行位操作进行推理。编码模型包括两个部分: 1) 协作模型,这是一个传统的潜在因子模块,能够将协作信息编码为数字潜在向量(即协作嵌入)。2) 二进制化和压缩模块,用于将协作嵌入转化为二进制序列或进一步压缩格式。

协作模型

​ 给定一个用户 u 和一个物品 i,协作模型会为它们生成相应的嵌入,分别记为 eu 和 ei。形式上:

\(\boldsymbol{e}_u=f_c(u;\theta)\\\boldsymbol{e}_i=f_c(i;\theta),\)

​ 其中\(f_c\)代表协作模型

二值化和压缩

​ 获得协作嵌入后,该组件用于将其转换为二进制序列,并可选择压缩序列。

二值化

​ 为了对协作嵌入进行二值化处理,首先,我们使用全连接层将协作嵌入变换到一个合适的空间,然后应用符号函数得到二值化结果。形式上,对于用户 u 和项目 i 的协作嵌入点 eu 和 ei,它们被转换成二进制序列如下:

\(\boldsymbol{h}_u=sign(\sigma(W\boldsymbol{e}_u+b))\\\boldsymbol{h}_i=sign(\sigma(W\boldsymbol{e}_i+b)),\)

​ 其中,hu和 hi 分别表示所获得的用户和项目协作信息的二进制表示。

​ 通过这种方法,我们可以将数字协作嵌入转换为二进制序列(如 “010110....”)。这些序列可以直接输入 LLM,并用于计算逻辑 “AND ”等操作,从而帮助用户进行偏好推理。

压缩

​ 二进制序列的局限性在于其相对较长的长度,这对不擅长处理长序列的 LLM 来说是一个挑战。此外,长序列还会限制 LLMRec 的推理效率。因此,我们考虑对二进制序列进行压缩,同时保持它们可被 LLM 利用。鉴于 IPv4最初是由二进制序列编码的,而且网络中包含足够的 IPv4 知识,因此在网络数据上训练的 LLM 有可能理解 IPv4 使用的点十进制符号。因此,我们考虑用点-十进制符号压缩二进制嵌入。我们将每八位二进制数转换成十进制数,范围从 0 到 255,并使用句号(点)作为分隔符。

LLM预测

​ 一旦提示模板中的空字段被填满,生成的提示信息就会被送入 LLM 进行预测。与之前的研究类似,鉴于 LLMs 中缺乏特定的推荐预训练,我们引入了一个额外的 LoRA 模块来进行推荐预测。形式上,对于生成的提示 p,预测可表述为:

\(\hat{y}=LLM_{\hat{\Phi}+\Phi^{\prime}}(p),\)

​ 其中,\(\hat{\boldsymbol{\Phi}}\)表示预训练的 LLM 参数,Φ ′ 表示 LoRA 模型参数,y 表示预测结果,根据任务的不同,可以是预测的下一个项目,也可以是预测的喜欢某个候选项目的可能性。

训练

​ 在我们的模型架构中,有两个模块需要训练:类文本编码模块和 LoRA 模块。类文本编码模块的调整重点是学习如何生成二进制序列以获取协作信息,而与 LLM 无关。LoRA 的调整旨在指导 LLM 利用协作信息提出建议。现在我们分别介绍这两种调整范式。

类文本编码的预训练

​ 为了训练类文本编码模块,我们直接利用二值化表示来拟合训练数据。形式上,让 D 表示训练数据,(u, i, t) ∈ D 表示用户 u 与标签为 t 的项目 i 之间的交互。我们通过最小化以下优化问题来训练该模块:

\(minimize\sum_{\theta,W,b}\ell(t,\boldsymbol{h}_u^\top\boldsymbol{h}_i),\)

​ hu和hi表示前面得到的二进制表示形式,

​ 值得注意的是,符号函数缺乏平滑性,其梯度也没有定义为零,这对反向传播提出了明显的挑战。为了以端到端的方式训练模型,我们使用直通估计器(STE)对梯度进行近似。也就是说,我们直接使用输出的梯度作为符号函数输入的梯度。

LoRA微调

​ 为了调优LoRA模块,我们考虑了两种调优方法:直观的调优和两步调优。

直观调优

​ 这种方法可直接从头开始调整 LoRA 模块,并使用包含协作信息的提示。

两步调优

​ 在直观调整方面,潜在的挑战出现在评级预测任务等场景中,在这些场景中,二进制表征可以作为高效特征,学习复杂度相对较低 。从头开始纳入协作信息可能会导致模型过度依赖这些特征,从而可能忽略其他属性,如学习捷径特征。为了解决这个问题,我们提出了一个额外的两步调整策略。首先,我们使用排除协作信息的提示来训练模型。随后,我们使用包含协作信息的完整提示对模型进行微调,从而进一步完善模型。

总结

​ 这篇文章主要要解决的问题就是推荐系统产生的协作表示与LLM的一些表示有较大的差距,要做的事情就是让这两个表示对齐,增强两个表示的一致性。

​ 具体来说就是提出了一种编码方式,对协作表示进行进行二进制编码,然后再进行压缩至类ipv4的序列

​ 得到协作表示之后,将其输入到prompt中,进行推荐,最后又介绍了一下微调的策略。

标签:BinLLM,二进制,论文,笔记,协作,信息,LLM,序列,文本
From: https://www.cnblogs.com/anewpro-techshare/p/18405081

相关文章

  • java基础 -线程(基础)的 笔记
     581,多线程机制 因为需要敌人的坦克可以自由移动并发射子弹,我们的坦克可以移动并发射子弹,这些要用到线程的知识。   根据JConsole监控线程执行情况,发现,主线程执行完了,子线程还没有执行完,并不能表示当前进程死亡了,只有当所有的子线程执行完了,主进程才会结束。 真正......
  • 数据库学习笔记(黑马-Javaweb课程)
    概述P80.课程介绍:数据库:存储和管理数据的仓库SQL:操纵做关系型数据库的编程语言数据库管理系统:DBMS,操纵和管理数据库的大型软件课程介绍:数据的的设计,数据库的操作,数据库的优化-索引P81.MySQL-概述-安装配置图文详述:MySQL的下载、安装、配置、使用_mysql下载-CSDN博客语......
  • 伙伴匹配系统学习笔记(知识星球-鱼皮)
    一.需求分析用户去添加标签,标签的分类(要有哪些标签、怎么把标签分类)主动搜索:允许用户根据标签去搜索其他用户组队创建队伍加入队伍‘根据标签查询队伍邀请其他人允许用户修改标签推荐相似度计算算法+本地分布式计算二.技术栈后端Java编程语言+SpringBoot框架Spring......
  • 基于Node.js+vue基于vue的大学生兼职信息平台(开题+程序+论文) 计算机毕业设计
    本系统(程序+源码+数据库+调试部署+开发环境)带文档lw万字以上,文末可获取源码系统程序文件列表开题报告内容研究背景随着高等教育的普及和就业市场的日益竞争,大学生在校期间寻找兼职工作已成为常态。然而,传统的兼职信息获取方式,如校园海报、社交媒体零散信息等,存在信息分散......
  • 毕业论文答辩PPT怎么做?
    制作毕业论文答辩PPT是一个重要的环节,它不仅能够帮助你更好地展示研究成果,还能让你在答辩过程中更有条理。下面是一些建议,帮助你制作一个清晰、专业的答辩PPT:我分享了300多套「毕业论文答辩PPT模板」、「精品通用系列PPT」,点击即可保存。开场介绍标题页:包含论文题目、作......
  • SCI论文审稿的13种状态详解
    SCI论文审稿的13种状态1.Submittedtojournal(稿件提交)代表文章提交成功。在这一阶段,需要作者确认自己所提交的文件是否符合期刊的投稿要求,包括格式、内容、摘要、参考文献等,同时也要留意期刊的审核时间和流程。2.ManuscriptreceivedbyEditorialoffice(收到稿件......
  • 《数据资产管理核心技术与应用》读书笔记-第四章:数据质量的技术实现(三)
    《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,全书共分10章,第1章主要让读者认识数据资产,了解数据资产相关的基础概念,以及数据资产的发展情况。第2~8章主要介绍大数据时代数据资产管理所涉及的核心技术,内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与......
  • Java基础-学习笔记17
    17IO流1.IO流文件文件在程序中是以流的形式来操作的。流:数据在数据源(文件)和程序(内存)之间经历的路径输入流:数据从数据源(文件)到程序(内存)的路径输出流:数据从程序(内存)到数据源(文件)的路径常用的文件操作获取文件的相关信息IO流原理及流的分类I/O(Input/Output......
  • 基于python+flask框架的月子会所管理系统(开题+程序+论文) 计算机毕设
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景随着现代社会的快速发展和生活水平的提高,人们对母婴健康的重视程度日益增强。月子会所作为提供专业产后护理与恢复服务的机构,近年来在全球......
  • 基于python+flask框架的在线酒店管理系统(开题+程序+论文) 计算机毕设
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景随着互联网技术的飞速发展和旅游业的蓬勃兴起,酒店行业正经历着前所未有的变革。传统酒店管理模式已难以满足市场快速响应和个性化服务的需......