ONCE: Boosting Content-based Recommendation with Both Open- and Closed-source Large Language Models论文阅读笔记

Abstract

​ 现有的推荐器在理解项目内容方面面临着巨大挑战。大语言模型（LLM）拥有深层语义理解能力和来自预训练的广泛知识，已被证明在各种自然语言处理任务中非常有效。在本研究中，我们探讨了利用开源和闭源 LLM 增强基于内容的推荐的潜力。对于开源 LLM，我们利用其深层作为内容编码器，在嵌入层丰富内容的表示。对于闭源 LLM，我们采用提示技术来丰富标记层的训练数据。

Introduction

​ 第一段介绍基于内容的推荐系统及其重要性

​ 第二段介绍内容推荐的核心组成部分，内容编码器，并提出缺点

​ 第三段举例介绍以前内容编码器的局限性

​ 第四段提出方法，说GPT能够解决上面的局限性

​ 第五段介绍提出的方法

​ 在本文中，我们研究了通过利用 OpeN- 和 ClosEdsource (ONCE) LLMs 来增强基于内容的推荐的可能性。如图 1 所示，我们的 ONCE 方法针对不同类型的 LLM 采用了不同的策略。对于像 LLaMA 这样的开源 LLM，我们采用了一种名为 DIRE 的鉴别性推荐方法，这让人想起 PLM-NR方法，即用 LLM 取代原始内容编码器。这使我们能够提取内容表征，并专门针对推荐任务对模型进行微调，最终增强用户建模和内容理解能力。相反，对于像 GPT-3.5 这样的闭源 LLM（我们只能访问标记输出），我们提出了一种名为 GENRE 的生成式推荐方法。通过设计各种提示策略，我们丰富了可用的训练数据，并获得了更多信息丰富的文本和用户特征，这有助于提高下游推荐任务的性能。

​ 第六段介绍了实验取得了不错的成果

Method

DIRE：微调开源LLM

​ 在基于内容的推荐中，将开源语言模型整合为内容编码器是一种直接且被广泛采用的方法。值得注意的是，PLM-NR 采用小规模预训练语言模型（PLM，如 BERT）来替代原始新闻编码器，并在推荐任务中进行微调。

​ 这种方法的成功取决于两个因素： 1) 预训练语言模型中固有的知识（包括模型大小和预训练数据质量），以及 2) 微调策略。如前所述，我们已经强调了大型语言模型在内容理解和用户建模方面的优势，从而解决了第一个因素。在本节中，我们将提出鉴别性推荐框架，即 DIRE，并探讨如何利用开源大型语言模型，通过考虑第二个因素来进一步提高推荐性能。

网络结构

​ 如图 3 所示，我们将开源大型语言模型和注意力融合层无缝整合到基于内容的推荐框架中。

​

嵌入层

​ BERT 等小规模 PLM 采用特定标记（如 ⟨cls⟩、⟨sep⟩）来分割不同字段，而我们则采用自然语言模板来进行连接。例如，考虑一个包含标题、摘要和类别特征等属性的新闻内容