Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System论文阅读笔记
Abstract
现存的问题：
最近的策略侧重于利用基于预训练模态编码器和大型语言模型（LLM）的用户/项目模态信息（如文本或图像）。尽管它们在冷场景下非常有效，但我们发现，由于缺乏协作知识，它们在暖场景下的表现不如简单的传统协同过滤模型。
提出方法：
在这项工作中，我们提出了一种高效的基于 LLM 的全方位推荐系统，称为 A-LLMRec，它不仅在冷场景中表现出色，在暖场景中也同样出色。我们的主要想法是让 LLM 直接利用预先训练好的最先进 CF-RecSys 中包含的协作知识，这样就能共同利用 LLM 的新兴能力以及最先进 CF-RecSys 已经训练好的高质量用户/项目嵌入。这种方法有两个优点：(1) 与模型无关，可以与现有的各种 CF-RecSys 集成；(2) 高效，省去了基于 LLM 的推荐器通常需要的大量微调工作。
Introduction
最近的研究集中在利用用户/项目的模态信息，以提高在冷启动场景下的推荐性能。
虽然基于模式识别和 LLM 的推荐系统在用户与项目互动有限的冷场景中被证明是有效的，但我们认为，这些方法由于严重依赖文本信息而缺乏协同知识。因此，在有大量用户-物品交互的情况下（即温暖场景），基于模式识别和 LLM 的推荐器反而不如简单的传统协同过滤模型。这主要是因为文本信息在温暖场景中变得不那么重要，而在温暖场景中，基于 ID 的协同过滤模型擅长对热门项目进行建模。
在本文中，我们提出了一种高效的基于 LLM 的全方位推荐系统，称为 A-LLMRec（基于 LLM 的全方位推荐系统），它不仅在冷场景中表现出色，在暖场景中也同样出色（因此称为全方位推荐系统）。我们的主要想法是让 LLM 能够直接利用预先训练好的最先进的协同过滤推荐系统（CF-RecSys）中包含的协同知识，从而共同利用 LLM 的新兴能力以及最先进的 CF-RecSys 已经训练好的高质量用户/项目嵌入。更确切地说，我们设计了一个对齐网络，将 CF-RecSys 的项目嵌入与 LLM 的标记空间对齐，目的是将从预先训练的 CF-RecSys 中学习到的协作知识传递给 LLM，使其能够理解并利用协作知识完成下游推荐任务。
A-LLMRec 的关键创新之处在于，它既不需要对 CF-RecSys 进行微调，也不需要对 LLM 进行微调，而且对齐网络是 A-LLMRec 中唯一需要训练的神经网络，这带来了以下两个至关重要的优势：
- 模型无关： A-LLMRec 允许集成任何现有的 CF-RecSys，这意味着使用自己的推荐模型的服务可以随时利用 LLM 的强大功能。此外，推荐模型的任何更新都可以通过简单地替换旧模型而轻松反映出来，这使得该模型在现实中非常实用。
- 高效：A-LLMRec 的高效之处在于对齐网络是唯一可训练的神经网络
本文的主要贡献如下：
- 我们提出了一种基于 LLM 的推荐系统，称为 A-LLMRec，它可以直接利用预先训练好的最先进推荐系统中包含的协作知识。
- A-LLMRec 既不需要对 CF-RecSys 也不需要对 LLM 进行微调，只需要训练一个对齐网络，就能在两者之间架起桥梁。
Method
在本节中，我们提出了一种新颖的基于 LLM 的推荐器框架 A-LLMRec，它将冻结的预训练协同过滤推荐器（CF-RecSys）与冻结的 LLM 相结合，旨在不仅提高冷场景下的推荐性能，而且提高暖场景下的推荐性能。为了弥合模态差距，A-LLMRec 将 CF-RecSys 的协同知识与 LLM 的标记空间相统一。我们的方法包括两个预训练阶段：（1）用冻结的 CF-RecSys 对齐协作知识和文本知识（第 4.1 节）；（2）用冻结的 LLM 进行推荐（第 4.2 节），其中协作知识和文本知识被联合投射到 LLM 上。
协作知识和文本知识之间的一致性（阶段1）
在本节中，我们将介绍如何将冷冻 CF-RecSys 中的项目嵌入与相关文本信息进行对齐，以获取协作知识和文本知识。我们采用一个预训练的Sentence-BERT（SBERT）模型，在训练过程中对其进行微调，从与条目相关的文本信息中提取文本嵌入。然后，我们引入两个编码器，物品编码器\(f_I^{enc}\)和文本编码器\(f_T^{enc}\)。每层包含一个单层多层感知器 (MLP)，将冻结的 CF-RecSys 中的项目嵌入与 SBERT 中的文本嵌入对齐。物品编码器的输出表示为e，文本编码器的输出表示为q
然后，我们在物品嵌入和文本嵌入之间进行潜在空间匹配，具体如下
\[\begin{aligned} L_{matching}& =\underset{S^{u}\in S}{\operatorname*{\mathbb{E}}}\left[\underset{i\in S^{u}}{\operatorname*{\mathbb{E}}}\left[MSE(\mathbf{e}_{i},\mathbf{q}_{i})\right]\right] \\ &=\underset{S^{u}\in\mathcal{S}}{\mathbb{E}}\left[\underset{i\in\mathcal{S}^{u}}{\mathbb{E}}\left[MSE(f_{I}^{enc}(\mathbf{E}_{i}),f_{T}^{enc}(\mathbf{Q}_{i}))\right]\right] \end{aligned} \] 也就是说，我们在编码器的潜在空间中匹配来自冻结 CF-RecSys 的条目嵌入和来自 SBERT 的文本嵌入，以便将条目及其相关文本的语义统一起来，供以后在 LLM 中使用。
避免过平滑表示
另一方面，简单地优化等式 2 中定义的潜在空间匹配损失会导致表征过度平滑，也就是说，编码器会被训练成产生相似的输出（即 e
标签：LLMRec,mathbf,论文,协作,笔记,嵌入,LLM,文本,RecSys From： https://www.cnblogs.com/anewpro-techshare/p/18397281