uCTRL: Unbiased Contrastive Representation Learning via Alignment and Uniformity for Collaborative Filtering论文阅读笔记

这篇文章应该是关于无偏推荐的

Abstract

​ 由于协作过滤（CF）模型的隐式用户反馈偏向于流行的项目，CF模型倾向于产生带有流行偏差的推荐列表。先前的研究使用了逆倾向加权（IPW）或因果推理来缓解这一问题。然而，他们只使用点态或成对损失函数，而忽略了采用对比损失函数来学习有意义的用户和项表示。在本文中，我们提出了无偏压缩表示学习（uCTRL），优化了CF模型的InfoNCE损失函数的对齐和一致性函数。具体来说，我们制定了一个在uCTRL中使用的无偏对齐函数。我们还设计了一种新的IPW估计方法，消除了用户和项目的偏差。

Introduction

​ 因为用户-项目交互通常偏向于流行的用户/项目，所以学习无偏见的用户/项目表示并非简单。用户-项目交互矩阵自然地遵循帕累托数据分布。虽然一些头部项目经常与用户互动，但许多尾部项目很少与用户互动。因此，CF模型很容易偏向于流行的用户/项目。因此，有偏差的用户/项目表示偏离了真正的用户偏好，导致较差的泛化性能。更糟糕的是，它们可以通过过度推荐流行商品而带来偏见放大。

​ 现存方法的一些局限性有：

• （i）现有的关于在推荐系统中消除流行偏差的研究尚未积极地纳入对比损失函数，尽管它已被广泛地用于不同领域的更好的表示学习。
• （ii）现有的去偏策略在估计倾向权重时没有考虑用户和项目，即使推荐模型从用户/项目交互中学习潜在的嵌入向量。

​ 本文提出了无偏压缩表示学习（uCTRL）。基于DirectAU ，对比表示学习被分解为两个损失函数：对齐和一致性。对齐函数表示正用户-项目交互的用户和项目向量之间的距离。一致性函数表示每个用户和项目分布的平均距离之和。虽然DirectAU 比现有的点级和成对损失函数显示出更好的性能，但可以观察到，对齐函数仍然偏向于用户/项目的流行程度。

​ 为了解决这个问题，我们提出了一种无偏对齐函数，并设计了一种估算 IPW 的新方法，在对齐函数中去除了用户和项目流行度。

​ 本文的贡献有：

• 我们引入了一种新的损失函数的无偏对比表示学习（uCTRL）通过对齐和一致性函数。
• 我们还开发了一种新的倾向加权估计方法来消除用户/项目的偏差，并将其纳入无偏对齐函数中。

Background

​ 现有的研究将用户项目点击分解为两个组成部分：观察和相关性。如果用户知道该项目，并且她也对该项目感兴趣，那么用户就会点击一个项目。

​ \(P(y_{ui}=1)=P(o_{ui}=1)\cdot P(r_{ui}=1)=\omega_{ui}\cdot\rho_{ui}.\)

​ \(o_{ui}\)和\(r_{ui}\)它们分别代表了观察的伯努利随机变量和相关性的伯努利随机变量。为简单起见，让