Collaborative Large Language Model for Recommender Systems论文阅读笔记

Abstract

提出存在的问题：

​ 自然语言和推荐任务之间的语义差距仍然没有得到很好的解决，导致了多个问题，如用户/项目描述符的虚假相关、对用户/项目数据进行的语言建模无效、通过自动回归的低效推荐。

解决方案：

​ 在本文中，我们提出了CLLM4Rec，这是第一个紧密集成了LLM范式和ID范式的生成式RS，旨在同时解决上述挑战。我们首先使用用户/项目ID令牌扩展预先训练的llm的词汇表，以忠实地建模用户/项目协作和内容语义。因此，我们提出了一种新颖的 "软+硬 "提示策略，通过在 RS 特定语料库上进行语言建模，有效地学习用户/项目协作/内容标记嵌入，其中每篇文档都分为由异构软（用户/项目）标记和硬（词汇）标记组成的提示和由同构项目标记或词汇标记组成的正文，以促进稳定有效的语言建模。

​ 此外，我们还引入了一种新颖的相互正则化策略，以鼓励 CLLM4Rec 从嘈杂的用户/项目内容中捕捉与推荐相关的信息。最后，我们为 CLLM4Rec 提出了一种新颖的以推荐为导向的微调策略，即在预训练的 CLLM4Rec 主干网中添加一个具有多叉似然的项目预测头，以根据从被遮蔽的用户与项目交互历史中建立的软+硬提示来预测留出的项目，从而在不产生幻觉的情况下高效地生成多个项目的推荐。

Introduction

​ 已经进行了一些初步的研究来探索LLMs对RSs的适应性。通常，这些方法可以概括为两个步骤：

​ (i)首先，将具有连续ID嵌入的用户/项目，推理用户兴趣和生成建议所需的相关信息，例如交互项、用户/项目特性和候选项，转换为离散的基于自然语言的提示。

​ (ii)然后，使用Prompt查询LLM，从LLM的文本输出中检索到与推荐相关的信息，生成推荐（直观的示例见图1）

​ 上述过程可以以零镜头方式执行，其中推荐决策直接从预先训练的LLM获得（例如，我们将关于用户和一个项目的所有相关信息输入到ChatGPT的聊天框中，并询问用户是否将与项目交互），或者，如果可以对预先训练的LLM对交互和特性数据进行微调，以便可以合并rs特定的知识以获得更准确的推荐。

​ 然而，基于描述的方法对用户项语义相似性引入了很强的归纳偏差，这可能不能忠实地捕获真实的语义。引入真正的用户/项目ID令牌，不幸的是，通常被认为是不可行的，因为直接进行语言建模（LM）序列与异构的令牌可能是无效的和不稳定的，特别是当大多数LLMs的词汇表可以稀释由大量随机初始化的用户/项目嵌入。

​ 即使可以通过 LLM 有效地学习用户/项目 ID 标记嵌入，但仍存在更多的挑战，阻碍了使用 LLM 进行有效和高效的推荐。首先，由于交互顺序对于直接推荐通常并不重要，而人类语言自然有顺序，因此在将用户历史交互转化为文本句子时，可能会为放置在不同位置的项目引入虚假的时间相关性。此外，对于内容建模而言，由于预训练的 LLM 并不以推荐为导向，因此它们很容易捕捉到与推荐目的无关的用户/项目文本特征中的噪声。

​ 此外，由于llm以自回归的方式生成下一个标记，与基于id的方法相比，通过基于llm的RSs进行多个推荐可能会低效。最后，对于基于伪id和基于描述的索引方法，通常需要在提示中显式地提供候选项，以避免产生幻觉。这些问题阻碍了基于llm的RSs的实际应用。因为在这种情况下，候选项库规模很大，而低延迟非常重要。

​ 为了解决上述挑战，我们提出了CLLM4Rec，这是第一个将RS的ID范式与基于llm的范式紧密结合的生成式RS。我们首先使用用户/项目ID令牌扩展预训练的llm的词汇表，以忠实地建模用户/项目协作/内容语义，其中令牌嵌入分两个阶段学习。

​ 预训练阶段包括相互正则化的协作式或内容式 LLM，这些 LLM 通过对根据用户/项目交互和文本特征建立的 RS 特定语料库进行语言建模来学习用户/项目标记嵌入。具体来说，为了对具有异构标记的文档进行有效的语言建模，提出了一种新颖的 "软+硬 "提示策略，即每篇文档被分解为由软标记（用户/项目）和硬标记（词汇）组成的提示和由同构项目标记（用于协作建模）或词汇标记（用于内容建模）组成的主文本。通过这种策略，两个 LLM 的预测头可以只关注协作信息和内容信息，从而大大提高语言建模的稳定性和有效性。此外，还提出了一种针对协同LLM的随机项目重排序策略，即忽略项目标记的顺序，而不对词汇标记产生负面影响。最后，我们为 CLLM4Rec 提出了一种新颖的以推荐为导向的微调策略，即在预训练的协作 LLM 骨干上添加一个具有多项式似然的项目预测头，以根据从屏蔽的用户交互历史中建立的软+硬提示来预测留出的项目，从而在不产生幻觉的情况下高效地生成多个项目的推荐。

​ 本文的主要贡献如下：

• 我们提出了CLLM4Rec，这是第一个紧密结合ID范式和LLM范式的生成RS，其中引入了与LLM vocab空间对齐的用户/项目ID令牌嵌入，以很好地捕获用户的内在兴趣和项目属性。
• 提出了一种新的软+硬提示策略，有效地对相互规范的异构令牌的CLLM4Rec进行预训练，其中用户/项目令牌嵌入可以有效地学习协作和内容信息。
• 提出了一种面向推荐的微调策略，该策略基于通过多项可能性项目预测头从掩码交互建立的软+硬提示预测保留项目，可以有效地生成多个项目的推荐而不产生幻觉。

Method

​ 我们的目标是设计一种新的生成式 RS，通过引入用户/物品 ID 标记（和标记嵌入），将 LLM 与推荐任务紧密结合起来，从而准确地模拟用户/物品语义（如用户对物品的兴趣），实现高效的推荐，同时充分利用预训练 LLM 的编码知识和推理能力。

用户/项目令牌的扩展

vocab的扩展

​ 这里就是通过添加用户/项目ID令牌来描述内在的用户/项目语义来扩展LLM的词汇表

Token embedding

​ 这部分就是把上个部分引入的用户项目令牌(token)转换为嵌入，并且对于新引入的令牌，引入两种类型的令牌嵌入。具体方法如下：

​ 首先采样用户/物品协作令牌的嵌入

​ \(\mathbf{z}_i^{l,u},\mathbf{z}_j^{l,v}\sim\mathcal{N}\left(\mathbf{0},\lambda_l^{-1}\cdot\mathbf{I}_K\right),\)

​ 为了将内容语义与面向推荐的内容建模的协作语义对齐，我们从以下条件先验对用户/项目内容标记嵌入进行采样：

​ \(\mathbf{z}_i^{c,u}\sim\mathcal{N}\left(\mathbf{z}_i^{l,u},\lambda_c^{-1}\cdot\mathbf{I}_K\right),\mathbf{z}_j^{c,v}\sim\mathcal{N}\left(\mathbf{z}_j^{l,v},\lambda_c^{-1}\cdot\mathbf{I}_K\right)\)

​ 最后我们获取了几个令牌嵌入的矩阵，分别是vocab的，协作的和基于内容的：

​ \(\mathbb{Z}^t,\mathbb{Z}^{l,\{u,v\}},\mathrm{~and~}\mathbb{Z}^{c,\{u,v\}}\)

CLLM4Rec的基础模型

​ 也就是将一个token序列映射为一个隐空间。这里只有用户/项目标记嵌入是可训练的，而vocab嵌入Z