Enhancing Sequential Recommendation via LLM-based Semantic Embedding Learning论文阅读笔记

Abstract

现存的问题：

​ 直接根据项目的文本特征从 LLM 中提取表征并将其输入顺序模型，并不能保证文本的语义信息能在这些表征中得到保留。此外，将项目序列中所有项目的文本描述串联成一个长文本，并将其输入 LLM 进行推荐，会产生冗长的标记序列，这在很大程度上降低了实际效率。

解决方案：

​ 在本文中，我们将介绍 SAID，这是一个利用 LLM 来明确学习基于文本的语义对齐项目 ID 嵌入的框架。对于每个条目，SAID 都会使用一个投影模块将条目 ID 转换为嵌入向量，然后将其输入 LLM，以获得该条目所附带的确切描述性文本标记。项目嵌入会强制保留文本描述的细粒度语义信息。此外，学习到的嵌入可以与轻量级的下游顺序模型集成，以获得实用的推荐。

Introduction

​ SRS 中对 LLM 的利用可大致分为两种模式：LLM 增强方法和以 LLM 为中心的方法。

​ 在 LLM 增强范式中，从 LLM 中提取项目文本描述的嵌入，并将其视为项目的特征。这些特征随后会与其他推荐模型整合，如 GRU 或 Transformer。

​ 以 LLM 为中心的方法将项目转换为文本表述，并将其串联成一个长文本序列，然后输入 LLM。之后，LLM 可以直接生成项目描述作为预测，也可以提取序列特征来发现相似项目。

​ 尽管 LLMs 在顺序推荐领域大有可为，但目前将 LLMs 与 SRS 相结合的研究却表现出一定的局限性。首先，对于 LLM 增强方法而言，通过 LLM 获得的文本嵌入通常是粗粒度的，这对捕捉项目的细微词级属性以表示用户偏好具有挑战性。换句话说，从 LLM 中提取的文本嵌入无法保证保留细粒度的项目文本信息。

​ 其次，以 LLM 为中心的方法在处理冗长的标记序列时会遇到困难，LLM 众所周知的计算复杂性也会造成效率瓶颈。由于 LLM 的推理成本很高，现有的以 LLM 为中心的方法很难达到效率标准。

​ 鉴于上述局限性，本文旨在高效利用 LLM 在 SRS 中的能力。SAID 的主要思想是学习项目嵌入，这些项目嵌入与 LLM 嵌入空间内的项目文本描述准确一致，并能有效地与现成的轻量级序列模型一起使用。为此，SAID 采用了两阶段训练方案。需要注意的是，在推荐场景中，一个项目通常由一个数字 ID 表示，并伴有若干文字描述，如品牌、类别等。

​ 在第一阶段，受面向 LLM 的对齐学习的启发，SAID 利用投影仪模块将项目 ID 转换为嵌入，并将其输入到 LLM 中，从而从 LLM 中明确获得项目的文本标记序列。通过这种方式，SAID 明确地将项目文本描述的细粒度语义保留到嵌入中，即语义对齐嵌入。只有投影器在进行训练，而 LLM 保持固定，梯度通过它传播。

​ 在第二阶段，GRU 或 Transformer 等下游序列模型将利用学习到的条目嵌入来提取整个序列的表示，以便进行推荐。在这一阶段，序列模型将从头开始训练，并对第一阶段学到的嵌入进行微调。训练完成后，下游序列模型和微调后的项目嵌入将用于实际推理。

​ 由于 LLM 不参与第二阶段，而且下游序列模型可以是轻量级的，因此 SAID 实现了卓越的推理效率。此外，得益于基于 LLM 的对齐学习，与以往模型中使用的随机初始化嵌入相比，学习到的项目嵌入大大提高了 SRS 的性能。

​ 本文的主要贡献如下：

• 我们提出了一种基于 LLM 学习语义项目嵌入的顺序推荐框架。与随机初始化项目嵌入或直接从 LLMs 中提取表示不同，所提出的框架在学习到的嵌入中保留了细粒度的项目文本信息，从而提高了 SRS 的性能。
• 我们提出了一种对齐学习方案，利用投影仪模块在 LLM 的嵌入空间内学习项目嵌入。固定的 LLM 与轻量级下游序列模型一起，简化了训练和推理过程，增强了其在工业场景中的实用性。

Method

SAID 框架

​ SAID的示意图如下：

​

​ SAID 采用两个阶段的训练过程，即（1）语义一致的嵌入学习和（2）与模型无关的顺序推荐训练。在第一阶段，SAID 利用投影仪模块和现成的 LLM 学习生成每个项目的嵌入。每个属性的学习嵌入大小相当于特定 LLM 的单个标记嵌入大小。在第二阶段，利用第一阶段获得的嵌入作为项目的初始特征，然后将其输入下游模型（如 RNN 或 Transformer）以进行顺序推荐。值得注意的是，SAID 与推荐过程中使用的下游模型的具体选择无关，因此赋予了该框架极大的适应性和灵活性。在随后的章节中，我们将分别对上述两个阶段进行详细阐述。

语义对齐的嵌入学习

​ 让