Prompt Learning for News Recommendation论文阅读笔记

Abstract

​ 最近的一些新闻推荐（NR）方法引入了预训练语言模型（PLM），通过精心设计的推荐专用神经网络和目标函数，遵循虚构的预训练和微调范式来编码新闻表征。由于任务目标与 PLM 的任务目标不一致，我们认为他们的建模范式没有很好地利用预训练过程中蕴含的丰富语义信息和语言知识。

​ 近年来，被称为提示学习的预训练、提示和预测范式在自然语言处理领域取得了许多成功。在本文中，我们首次尝试了这种新范式，以开发一个新闻推荐提示学习（Prompt4NR）框架，该框架将预测用户是否会点击候选新闻的任务转换为一个阻塞式的mask预测任务。具体来说，我们设计了一系列的提示模板，包括离散的、连续的和混合模板，并构造了它们相应的答案空间来检查所提出的Prompt4NR框架。此外，我们使用提示集成来集成来自多个提示模板的预测。

Introduction

​ 神经新闻推荐，预训练和微调的语言模型推荐以及本文提出的Prompt4NR之间的区别：

​ 在现有的许多神经模型中，大多采用静态词嵌入（如 Word2Vec和 Glove）作为模型训练的初始化，主要侧重于挖掘 NR 数据集中的域内信息，却忽略了现实世界大规模语料库中丰富的语义和语言信息。

​ 最近的一些方法更进一步，引入了预训练语言模型（PLM）来学习新闻表征。我们总结了这些方法的共同点，即使用虚构的预训练和微调范式来调整下游 NR 任务。在这一范例中，PLM 仅用作新闻编码器，而另一个神经网络则用于编码用户。使用特定于 NR 的目标函数来训练整个模型。虽然这些方法显示出了很好的性能改进前景，但由于下游 NR 目标与 PLM 训练目标不一致，它们并没有很好地利用大规模 PLM 中丰富的百科全书式知识。

​ 最近，一种名为 "提示学习"（prompt learning）的新型预训练、提示和预测范式在自然语言处理（NLP）领域的许多应用中取得了显著成功。这种新范式的基本原理是通过设计与任务相关的提示模板和答案词空间，将下游任务重新表述为 PLM 训练任务。鉴于其巨大的潜力，我们也有兴趣研究提示学习范式在 NR 领域的适用性和有效性。据我们所知，本文首次尝试并提出了新闻推荐提示学习（Prompt4NR）框架。

​ 图1(c)说明了我们的Prompt4NR框架的设计理念，其中我们建议将一个NR任务转换为一个封闭的mask预测任务。特别是，给定一个用户的历史点击记录