Towards Representation Alignment and Uniformity in Collaborative Filtering论文阅读笔记

Abstract

现存的问题：

​ 现有的研究主要集中在设计更强大的编码器（如图神经网络）来学习更好的表示。然而，很少有人努力致力于研究CF中表示的期望属性，这对于理解现有CF方法的基本原理和设计新的学习目标很重要。

提出方法：

​ 在本文中，我们从超球面上的对齐和均匀性的角度来衡量CF中的表示质量。我们首先从理论上揭示了BPR损失和这两个性质之间的联系。然后，我们从量化对齐和一致性方面对典型CF方法的学习动态进行了实证分析，结果表明，更好的对齐或均匀性都有助于更高的推荐性能。基于分析结果，提出了一个直接优化这两个属性的学习目标，即DirectAU。

Introduction

​ 为了学习信息丰富的用户和项目表示，对齐和一致性都是非常重要的。如果只考虑对齐，那么通过将所有用户和项映射到同一嵌入中，就很容易实现完全对齐的编码器。在CF中现有的损失函数的目标可以看到，以避免这种琐碎的常数（即，保持均匀性），同时优化以更好的对齐。在实践中，通常使用负样本来实现这一目标。例如，BPR损失将每个正交互与一个随机抽样的负项目配对，并鼓励交互项目的预测得分高于负项目。

​ 在这项工作中，我们分析了CF的对齐和一致性性质的启发，在对比表示学习。我们首先从理论上证明了BPR损失实际上有利于这两个性质，并且完全对齐和均匀的编码器形成了BPR损失的精确最小化器。然后，我们通过中提出的相应的量化指标，对典型CF方法的学习动态的对齐和一致性进行了实证分析。我们发现不同的CF方法显示出不同的学习轨迹，并且更好的对齐或更好的一致性都有利于表示质量。例如，最简单的BPR可以快速收敛到有希望的对齐，并主要在之后提高均匀性。其他先进的方法通过各种技术，如硬负样本和基于图的编码器，可以实现更好的对齐或一致性，从而获得更好的性能。基于分析结果，我们提出了一个直接优化这两个属性的学习目标，称为DirectAU。

​ 本文的主要贡献如下：

​ 我们从理论上证明了完全对齐和均匀的编码器形成了BPR损失的精确最小值。我们还从量化对齐和一致性方面分析了典型CF方法的学习动态。

​ 基于分析结果，提出了一个简单但有效的学习目标，直接优化这两个属性，称为DirectAU

Preliminaries

Alignment and Uniformity

​ 最近，在无监督对比表示学习中的研究表明，表示的质量与两个关键属性高度相关，即对齐和一致性。给定数据\(p_{data}(\cdot)\)的分布和正对\(p_{\mathrm{pos}}(\cdot,\cdot)\)的分布，对齐直接定义为正对的归一化嵌入之间的期望距离：

​ \(l_{\mathrm{align}}\triangleq\underset{(x,x^+)\sim p_{\mathrm{pos}}}{\operatorname*{\mathbb{E}}}||\tilde{f(x)}-f(\tilde{x^+})||^2,\)

​ 其中，\(f\tilde{(}\cdot)\)表示