Self-supervised Contrastive Enhancement with Symmetric Few-shot Learning Towers for Cold-start News Recommendation论文阅读笔记

Abstract

现存的问题：

​ 如今，新闻的传播速度快于消费速度。这与快速的新闻周期和延迟更新一起，导致了具有挑战性的新闻冷启动问题。同样，由于用户参与度有限，用户冷启动问题也长期阻碍着推荐工作。（也就是传统的冷启动问题）

提出方法：

​ 为了解决这两个问题，我们在自监督对比增强的基础上推出了用于冷启动新闻推荐的对称少量学习框架（SFCNR）。在训练过程中，我们的方法采用对称少量学习塔（SFT）将温暖的用户/新闻属性转换为其行为/内容特征。我们设计了两种创新的特征对齐策略来加强塔的训练。随后，在推理过程中，该塔通过个性化门控网络，利用塔存储的先验知识，为冷用户/新闻生成虚拟特征。

Introduction

​ 零点学习（Zero-Shot Learning，简称 ZSL）在计算机视觉领域已得到广泛应用 ，它的出现为解决冷启动难题带来了希望。ZSL 的核心是通过利用辅助信息（如属性或上下文），从已知类别推断出未知类别的知识，从而为后者生成样本。同样，在冷启动场景中，有限的历史交互数据阻碍了针对新用户和新项目的模型训练。因此，将 ZSL 的想法扩展到冷启动推荐中是有意义的

• 传统的ZSL模型的缺点：线性模型（如 LLAE）可能难以有效处理复杂的映射，而用零点冷启动模块取代排序模型往往只能解决冷启动问题，却牺牲了热用户和项目的性能。此外，MAIL 和 GAZRec 等方法都忽视了用户和条目之间的直接协作，零点塔的分离会导致信息分布的不均衡。此外，简单地对齐虚拟特征和原始特征可能会导致过拟合问题。
• 传统的ZSL管道的缺点：以往的 zeroshot 方法通常只在推理过程中区分冷热用户/项目。冷用户/冷项目的原始特征会被生成的特征取代，而热用户/热项目则保留其原始特征。然而，这些研究主要集中在纯冷用户和纯冷项目的场景上，在现实世界中很少见。我们认为，尽管冷用户很少，但他们的原始行为对于描述兴趣至关重要。同样，对于冷新闻来说，虽然上下文细节可能难以捕捉，但新闻标题和实体等离散内容特征仍然是重要的描述因素。

​ 因此，一个同时解决用户和新闻冷启动问题的统一框架对于有效的新闻推荐至关重要。为了克服 ZSL 在解决冷启动问题方面的局限性，我们在本文中提出了一种用于冷启动新闻推荐的对称快速学习塔（SFCNR）。我们的模型包括三个塔：基础推荐塔、用户冷启动塔和新闻冷启动塔。基础推荐塔可以是任何高性能的新闻推荐模型。对于对称的少量学习塔（SFT），我们将其作用分为两个阶段：训练（先验知识存储）和推理（先验知识传递）。在训练过程中，我们通过一个属性编码器、一个虚拟特征编码器和一个通过对比学习增强的特征对齐网络，将用户和新闻属性转换为虚拟表征。

​ 具体来说，为了加强冷启动学习塔训练，我们将虚拟表征与原始表征进行内部和外部对齐。我们引入了两种新的对齐方法：面向内容的对齐（内部）和面向任务的对齐（外部）。在推理方面，冷启动学习塔通过存储的知识生成虚拟表征，然后通过个性化门控机制平衡虚拟表征和原始表征。重要的是，我们的框架与模型无关，无需改变原始模型结构。

​ 本文的贡献如下：

• 我们提出了一种称为 SFCNR 的与模型无关的框架，它能在不修改原始推荐模型结构的情况下，有效提高用户和新闻冷启动情景下的推荐性能。
• 在模型方面，我们利用自监督学习和监督学习的概念，提出了两个创新的对齐方式，确保冷启动塔有效地学习精确的、量身定制的虚拟特征表征，以便进行推荐。
• 在管道方面，我们强调了冷用户和冷新闻原始特征的重要性，并提出了基于原始表征学习质量进行加权融合的个性化门控机制。

Method

​ 在本节中，我们首先介绍基本的推荐塔。然后，我们探索了冷启动学习塔（SFTs）。最后，我们描述了如何使用少镜头学习来训练SFT。

整体的框架

​ 我们的模型结构如下图所示，由三个主要模块组成：基础推荐塔、用户冷启动学习塔和新闻冷启动学习塔，简称为对称少量学习塔（SFT）。

​

​ 基础推荐塔可以是任何优秀的新闻推荐模型，它通过考虑用户行为和新闻内容生成最终推荐。为了解决冷启动问题，我们引入了额外的用户冷启动学习塔和新闻冷启动学习塔，它们是对称设计的。SFT 利用热用户和新闻的属性特征来学习虚拟表征。然后利用学习到的虚拟表征来增强对冷用户和新闻的推荐。这种方法有效地解决了新闻推荐中的冷启动难题。

​ 在管道方面，我们的模型采用了个性化的门控机制来融合原始特征和虚拟特征。这确保了在增强虚拟特征的同时保留原始信息，有效缓解了冷启动问题。在模型方面，我们采用对比学习来改进虚拟特征的学习。通过抽取负样本，我们可以捕捉到与行为/内容特征和属性特征相关的重要信息，从而实现高效训练。

基础推荐塔

基础推荐

​ 性能最佳基线的新闻和用户编码器用于生成新闻内容和用户行为的表征。对于不同类型的用户和新闻，我们分别生成用户表示（u）和新闻表示（n），如公式 2 所示。

\(\mathbf{u}=\begin{cases}\mathbf{u}_b&\text{flagu}=1,\\Gate(\mathbf{u}_b,\mathbf{\hat{u}_b})&\text{flagu}=0\end{cases}\quad\mathbf{n}=\begin{cases}\mathbf{n}_c&\text{flagn}=1,\\Gate(\mathbf{n}_c,\mathbf{\hat{n}_c})&\text{flagn}=0\end{cases}\)

其中，

标签：SFCNR,mathbf,特征,新闻,论文,用户,笔记,虚拟,冷启动	

From： https://www.cnblogs.com/anewpro-techshare/p/18315813