Modeling User Viewing Flow Using Large Language Models for Article Recommendation论文阅读笔记

Abstract

​ 本文针对文章推荐任务提出了用户浏览流建模方法（SINGLE），该方法从用户点击的文章中建立用户恒定偏好和即时兴趣模型。具体来说，我们首先采用用户恒定浏览流建模方法来总结用户的一般兴趣，从而推荐文章。在这种情况下，我们利用大语言模型（LLMs）从之前点击的文章中捕捉用户的恒定偏好，如技能和职位。然后，我们设计了用户即时浏览流建模方法，在用户点击的文章历史记录和候选文章之间建立交互。它能仔细阅读用户点击文章的表征，并学习用户的不同兴趣观点，从而匹配候选文章。

Introduction

​ 很多文章推荐模型主要集中在新闻推荐任务上，它从用户之前点击的新闻文章中学习用户兴趣，并为用户返回相关的新闻文章。很多工作都考虑了用户个性化信息，以便从点击的文章中更好地捕捉用户兴趣，如用户 ID 、用户上下文信息 和用户反馈。大型语言模型（LLM），如 GPT3 ，在总结用户特征以更好地匹配与用户兴趣相匹配的条目方面表现出很强的能力。

​ 在本文中，我们提出了一种用户浏览流建模（SINGLE）方法来为用户推荐文章。如图 1 所示，我们对持续浏览流和即时浏览流进行了建模，以更好地表现用户的兴趣，从而有助于提取用户的一般兴趣和即时兴趣进行推荐。具体来说，我们通过提示 LLM 作为用户来建立持续浏览流模型，从而从浏览过的文章中提取用户偏好和特征。然后，SINGLE 对即时浏览流进行建模，以学习用户的不同兴趣观点。它使用 BERT 对文章的标题和正文进行编码，在用户访问过的文章和候选文章的表征之间建立交互，并仔细阅读访问过的文章的表征，从而进行用户即时兴趣表征。此外，SINGLE 还利用文章标题和正文中的文本信息来更好地表示文章语义。在这种情况下，我们通过将文章标题作为要点来设计摘要提示，利用 LLMs 从文章正文中提取关键词，然后生成一个简短的段落来表示文章正文。

​ 我们的进一步分析表明，SINGLE 模型有能力模仿不同的文章浏览行为，构建更有效的文章推荐系统。用户持续浏览流建模方法通过对点击过的文章进行更多的相似用户表征来学习用户的一般兴趣。然后，用户即时浏览流根据候选文章为这些用户点击的文章分配不同的权重，从而从访问过的文章中捕捉不同的用户兴趣。它可以从点击的文章序列中捕捉到一致的主题或主题转移。

Method

​ 在本节中，我们将介绍用户查看流程建模（SINGLE）方法。我们首先介绍 SINGLE 的框架（第 3.1 节）。然后介绍我们的用户常量和即时观看流建模方法（第 3.2 节），这些方法可以了解一般用户特征和多视角用户兴趣。

SINGLE的框架

​ 如图 2 所示，给定用户浏览过的文章\(D_{1:t-1} = \{d_1,...,d_{t-1}\}\), 文章推荐任务旨在推荐下一篇文章