Harnessing Large Language Models for Text-Rich Sequential Recommendation论文阅读笔记

Abstract

现存的问题：

​ 当推荐场景中的项目包含丰富的文本信息时，例如在线购物中的产品描述或社交媒体上的新闻标题，LLM 需要更长的文本才能全面描述历史用户行为序列。这给基于 LLM 的推荐器带来了巨大的挑战，例如超长限制、大量时间和空间开销以及模型性能不理想等。

提出方法：

​ 我们在本文中设计了一个新颖的框架，用于利用大语言模型进行文本丰富的序列推荐（LLM-TRSR）。具体来说，我们首先建议对用户的历史行为进行分割，然后采用基于 LLM 的摘要器对这些用户行为块进行摘要。特别是，从卷积神经网络（CNN）和递归神经网络（RNN）模型在用户建模中的成功应用中汲取灵感，我们在本文中引入了两种独特的总结技术，分别是分层总结和递归总结。

​ 然后，我们将包含用户偏好摘要、最近的用户互动和候选项目信息的提示文本构建到基于 LLM 的推荐器中，随后使用监督微调（SFT）技术对其进行微调，以生成我们的最终推荐模型。我们还使用了低库自适应（Low-Rank Adaptation，LoRA）技术进行参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）。

Introduction

​ 然而，在项目具有丰富文本信息的推荐场景中，例如电子商务中的产品标题、媒体平台上的新闻标题，扩展文本对于全面描述用户历史行为序列至关重要，这给 LLM 带来了以下挑战。首先，现有的 LLM 通常对输入长度有限制，例如 GPT-2 ，输入长度为 1,024 个标记，这可能不足以涵盖大量文本信息。其次，由于 Transformer 架构的计算复杂度为