RecDCL: Dual Contrastive Learning for Recommendation论文阅读笔记

Abstract

提出问题：

​ 现有的基于cl的方法大多集中于批处理的对比，没有利用特征维度中潜在的规律性。这导致了在用户和项目的表示学习过程中的冗余解决方案。

解决方法：

​ 在这项工作中，我们研究了如何同时使用批处理CL（BCL）和特性处理CL（FCL）作为推荐。我们从理论上分析了BCL和FCL之间的关系，发现BCL和FCL的结合有助于消除冗余解，但永远不会错过最优解。我们提出了一个双对比学习推荐框架-RecDCL。在RecDCL中，FCL目标旨在消除用户-项目正对上的冗余解，并使用多项式核优化用户和项目内的均匀分布，从而使表征能够有正交性；BCL目标用于在输出向量上生成对比嵌入，以增强表示的鲁棒性。

Introduction

​ 一般来说，基于cl的协同过滤方法侧重于批处理目标函数。批处理目标的目标是最大限度地提高正对（对角线）之间嵌入的相似性，同时最小化负对之间嵌入的相似性（非对角线）。一种典型的基于批处理的CF方法应用BPR损失预测用户的偏好在多个交互网络平台，如图神经网络（gnn）的模型和基于自监督学习（SSL）的模型。特别是，这些方法通常同时需要用户-项目交互对和由负抽样产生的负对等物。然而，由于负抽样方案可能会错误地将“正但未观察到的”对视为负对，因此这些方法的性能存在严重的限制。此外，一些最近的批处理CL（BCL）推荐方法指出，Web推荐系统在不需要负抽样的情况下可以获得更稳健的改进。然而，这些BCL方法可能会导致简单的常数解决方案，因为它们不能利用来自Web平台的用户和项目的嵌入信息，如图1所示。FCL就是基于特征的对比学习

​

​ 为了解决这个问题，我们研究了不同领域的基于cl的方法，并在表1中总结了它们的关键差异。CL的目标函数通常分为两类：分组目标和特征目标。在特征目标方面，现有的工作在计算机视觉（CV）领域引起了充分的关注。特别是，特征级CL方法，已经致力于研究嵌入向量的重要性，并提出新的特征级目标函数。这些方法通过在特征维度上将组件去关联来最大限度地提高嵌入的可变性，这可以避免崩溃并产生期望的性能。然而，如图1所示，这些FCL方法忽略了在批处理目标中提供的重要信息，并导致了正交分布。有鉴于此，就有一个有意义的问题出现了： 在自监督推荐中，批次性 CL 和特征性 CL 之间是否存在有效的优化目标？关于这一点，CL4CTR 提出了特征对齐和字段均匀性，并屏蔽了特征和维度信息，以解决 CTR 预测中特征频率的 "长尾 "分布问题。然而，以往的研究只探讨了 BCL 和 FCL 之间的联系，缺乏将它们联系起来的本机解释，也很少有人去了解将它们结合起来的效果。

​ 为了回答上述问题，我们研究了批处理CL和特征处理CL之间的目标的原生联系（图1和观察3.1），并从理论和实验的角度提出了一个通过使用它们（观察3.2）来显示合作利益的视角。基于这些分析，我们提出了一种双CL方法，称为RecDCL。RecDCL联合了自监督建议的特性级目标和批处理级目标。一方面，RecDCL通过消除用户和项目之间的冗余来优化特性级的CL目标（FCL）。特别是，FCL通过测量一个互相关矩阵来捕获用户-项目正对的分布，并通过一个多项式核来优化用户（项目）的分布。另一方面，作为一个批处理维度，我们设计了基本的BCL和高级的BCL来增强表示的鲁棒性，后者将历史嵌入与当前嵌入相结合，通过在线和目标网络生成对比视图。大量的实验验证了RecDCL的性能优于最先进的基于gnn和基于ssl的模型（在Beauty上高达5.34%），显示了联合优化特性和批处理目标的有效性。

​ 本文的主要贡献如下：

• 我们从理论上揭示了特征级CL和批处理级CL之间目标的原生联系，并从理论和实验的角度使用它们，证明了它们的合作效益。
• 基于上述分析，我们提出了一种名为RecDCL的双CL方法，并以特征级级别和分组级别的方式实现联合训练目标来学习信息表示。

理解BCL和FCL

​ 我们揭示了两个CL原理之间的原生联系，并发现结合BCL和FCL直观地形成了一个更好的正则化，可以受益于高嵌入维数。

我们的解释

​ 本部分旨在探讨两个问题：BCL和FCL之间的关系是什么。以及为什么将它们结合起来会有效。

​ 从直观上看，BCL 和 FCL 具有相同的机制，即拉近正数对，同时推远负数对。两者的区别在于构成配对的对象不同。BCL 所考虑的对象是样本，而 FCL 所考虑的对象是特征。在优化模型时，这种差异似乎赋予了这两个 CL 目标不同的效果。有趣的是，在某些条件下，它们会引导模型向相似的方向优化。通过 A.1 中提供的理论分析，我们得出以下结论。

​ 观察3.1： 如果对这两个嵌入矩阵进行标准化处理（即它们的均值为零，标准差为一），那么 BCL 和 FCL 的目标就可以近似地相互转化

​ 观察结果 3.1 表明，BCL 和 FCL 之间存在着内在联系。一个后续问题是，是否有必要同时使用它们？下面我们将从一个角度来部分回答这个问题。我们的观点的关键在于考虑负对在这两个目标中的作用。就 BCL 而言，我们已经知道，将负配对推远实际上近似于鼓励样本在嵌入空间中均匀分布，这与正配对约束一起隐性地扩大了分类余量。对于FCL，在特征级空间中推开负对的原因可能并不明显。虽然信息论已经做出了一些解释，但一个更直观的解释可以帮助理解这种正则化如何有助于最终的嵌入。因此，我们提供了一个说明性的例子来解释图1中BCL、FCL和BCL+FCL的影响，主要观察结果见观察3.2。

​ 观察3.2： 对于归一化样本嵌入，BCL 和 FCL 将负对推开对嵌入学习的影响不同。对于 BCL，它鼓励样本在嵌入空间中均匀分布。而对于 FCL，它倾向于使样本的表示正交。这种差异主要是因为 BCL 鼓励负对的内积（在批次维度上）越小越好；而 FCL 只强制要求负对的内积（在特征维度上）接近于零，这就暗中鼓励样本的表示（在批次维度上）是正交的。 如果我们将 BCL 和 FCL 结合起来，将负对推开不仅会促使样本表征在嵌入空间中均匀分布，还有助于消除冗余解 。随着嵌入维度的增加，这种规律性有利于嵌入学习。

​

​

推荐的直觉

​ 为了验证第3.2节中的规律性的有效性，我们进行了一项消融研究，看看BCL和FCL的结合是否能产生更理想的嵌入分布。具体来说，我们比较了在Yelp数据集上的FCL、BCL和BCL+FCL之间的嵌入的平均熵。设x表示一个样本的嵌入。我们通过两种方法选择x的top-