LLMRec论文阅读笔记

Abstract

​ 长期以来，数据稀疏性的问题一直是推荐系统中的一个挑战，以前的研究都试图通过合并侧边信息来解决这个问题。然而，这种方法经常会引入副作用，如噪声、可用性问题和低数据质量，这反过来会阻碍用户偏好的准确建模，并对推荐性能产生不利影响。鉴于大型语言模型（LLMs）的最新进展，它具有广泛的知识库和强大的推理能力，我们提出了一个称为LLMRec的新框架，该框架通过采用三种简单而有效的基于LLM的图增强策略来增强推荐系统。

​ 我们的方法利用在线平台中的丰富内容，以三种方式增强交互图： (i)加强用户-项目交互片段，（ii）增强对项目节点属性的理解，（iii）从自然语言的角度直观地进行用户节点分析。通过这些策略，我们解决了稀疏隐式反馈和低质量边信息带来的挑战。此外，为了保证增强的质量，我们开发了一种去噪数据改进机制，其中包括噪声隐式反馈剪枝和基于MAE的特征增强技术，有助于细化增强数据并提高其可靠性。此外，我们提供了理论分析来支持LLMRec的有效性，并阐明了我们的方法在促进模型优化方面的好处。

Introduction

​ 推荐系统通过向在线用户提供相关内容，在减轻信息过载方面发挥了关键作用。为了实现这一点，一个有效的推荐系统需要对用户偏好有一个精确的理解，这不仅局限于分析历史交互模式，还扩展到合并与用户和项目相关的丰富的边信息。

​ 在现代推荐系统中，可用的侧信息具有异构性，包括项目属性、用户生成的内容，以及包含文本和视觉方面的多模式特性。这种不同的内容提供了不同的方式来描述用户的偏好。通过利用这些边信息，模型可以获得信息表示来个性化建议。然而，尽管取得了重大进展，这些方法往往面临与数据稀缺和处理侧信息相关的挑战。

​ 然后介绍了现有的方法存在的问题，分别是稀疏的隐式反馈信号和侧信息的数据质量问题，侧信息的数据质量问题包括：数据噪声，数据异质性和数据不完整性。这些就不再详细展开了。

​ 这项工作努力通过明确增加潜在的用户-项目交互边缘以及增强用户/项目节点侧信息（如语言、类型）来克服这些挑战。受大型语言模型（LLM）令人印象深刻的自然语言理解能力的启发，我们利用LLM来增强交互图。首先，LLMRec支持从基于id的推荐框架到基于模式的范式的转变。它利用大型语言模型（LLM）从自然语言的角度来预测用户-项目之间的交互。与以前仅依赖id的方法不同，LLMRec认识到，在数据集[18]中，有价值的项目相关细节经常被忽视。与间接ID嵌入相比，自然语言表示提供了更直观的用户偏好反映。.

​ 通过结合LLM，LLMRec捕获了自然语言的丰富性和背景，提高了建议的准确性和有效性。其次，为了进一步阐述，通过利用LLM的广泛知识，增强了低质量和不完整的侧信息，这带来了两个优势：i)LLM在大量的现实世界知识上进行训练，允许他们理解用户偏好并提供有价值的完成信息，即使对隐私受限的用户档案也是如此。ii)LLM的综合词库将嵌入统一在单个向量空间中，弥合了异构特征之间的差距，促进了编码器的计算。这种集成防止了特征在不同的向量空间上的分散，并提供了更准确的结果。

​ 使LLM作为推荐系统的有效数据增强器带来了几个需要解决的技术挑战：

• C1：如何通过显式地增强隐式反馈信号来推理用户-项目之间的交互模式？
• C2：如何确保LLM增强内容的可靠性，以避免引入可能影响结果的噪声？

​ 基于LLM的增强技术通过解决稀疏性和改进不完整的侧边信息来增强推荐者的潜力是不可否认的。然而，有效地实施这种方法需要解决上述挑战。因此，我们设计了一个新的框架LLMRec来解决这些挑战。

解决方案：我们的目标是解决来自用户-项目交互的稀疏隐式反馈信号的问题，同时提高边信息的质量。我们提出的LLMRec包含了三种基于LLM的策略来增强交互图： i)加强用户-项目交互边缘，ii)增强项目属性建模，以及iii)进行用户分析。为了解决“i)”的C1问题，我们设计了一种基于LLM的贝叶斯个性化排序（BPR）采样算法。该算法从自然语言的角度出发，根据文本内容揭示了用户可能喜欢或不喜欢的项目。然后，在BPR训练过程中，这些项目被用作正样本和负样本。

​ 需要注意的是，LLM无法执行所有项目排序，因此所选择的项目是从基本推荐者为每个用户提供的候选项目池中选择的。在节点属性生成过程中（对应于“ii）”和“iii)”)，我们使用现有的文本和交互历史记录为每个用户/项创建额外的属性。然而，重要的是要承认，增广边和节点特征都可以包含噪声。为了解决C2问题，我们的去噪数据改进机制通过集成噪声边缘剪枝和特征MAE 来发挥作用，以确保增强的质量。

​ 最后，本文的贡献如下：

• LLMRec是一个开创性的工作，即使用LLM来增强推荐中的图：i)用户-项目交互边，ii)项目节点属性，iii)用户节点配置文件。
• 所提出的LLMRec通过使LLM能够明确地推理用户-项目交互模式，解决了隐式反馈信号的稀缺性问题。此外，它还通过用户/项目属性生成和基于噪声反馈剪枝和基于mae的特征增强的去噪增强增强机制，解决了低质量的边信息问题

Method

​ 为了进行基于LLM的增强，在本节中，我们将解决以下问题： Q1：如何使LLM能够预测u-i交互式边缘？Q2：如何使LLM能够生成有价值的内容？Q3：如何将增强的内容合并到原始的图形内容中？Q4：如何使模型对增强数据的稳健性？

LLM作为隐式反馈增强器

​ 为了直接面对内隐反馈的稀缺性，我们采用LLM作为知识感知采样器，从自然语言的角度对成对u-i训练数据进行采样。这增加了潜在的有效监督信号，并通过将上下文知识集成到u-i交互中，有助于更好地理解用户偏好。

​ 具体来说，我们向每个用户的历史交互项目提供附带信息（例如，年份、类型），并将一个候选项目池\(C_u=\{i_{u,1},i_{u,2},...,i_{u,|C_u|}\}\)输入LLM。然后，LLM将从C