Graph Transformer for Recommendation论文阅读笔记

Abstract

​ 本文提出了一种将生成式自监督学习与图转换器架构集成的推荐系统中的表示学习新方法。我们强调了高质量的数据增强与自监督借口相关的任务对提高性能的重要性。为此，我们提出了一种新方法，通过合理感知生成式 SSL 自动执行自监督增强过程，从而提炼出信息丰富的用户-项目交互模式。建议的推荐器采用图形转换器（Graph TransFormer，GFormer），可为选择性增强提供参数化协作理由发现，同时保留全局感知的用户-物品关系。在GFrormer中，我们允许原理感知的SSL在图转换器中使用任务自适应不变合理化来激励图协同过滤。

Introduction

​ 从有偏差的数据中引入增强的SSL信息可以放大噪声效应，从而稀释了对真正的用户-项目交互模式的学习。因此，现有的解决方案可能无法适应自我监督过程，以适应不断变化的实际推荐环境。

​ 尽管ssl增强的推荐系统取得了进步，但一个基本问题仍然知之甚少：哪些信息是至关重要的，应该保留自我监督增强推荐？由于掩码自编码（MAE）技术在推进自监督学习方面取得的成功，本工作从理性感知不变表示学习的生成自我监督增强的角度探讨了上述问题。与对比学习不同，掩蔽自动编码器范式直接采用重构目标作为数据增强的原则性借口任务。它自然地避免了上面讨论的数据增强的手动生成对比视图的局限性

​ 在这项工作中，我们提出了一种新的图变换推荐系统，以自动提取具有不变协同原理的掩蔽自监督信号。我们从基本原理发现中获得灵感，通过自适应增强来弥补图屏蔽自编码器之间的差距。我们的GFrormer充分利用了变压器在明确编码成对关系中的能力，以发现有利于下游推荐任务的有用的自监督信号，并解释了它们自己的基本原理。

​ 在这项工作中，我们提出了一种新的推荐系统，利用图形转换器（Graph TransFormer）自动提炼具有不变协作理由的屏蔽自监督信号。弥补了图掩码自动编码器与自适应增强之间的差距。我们的 GFormer 充分利用了 Transformer 在明确编码成对关系方面的强大功能，以发现有益于下游推荐任务的有用自监督信号，并解释其自身的原理。

​ 具体来说，我们开发了一种拓扑感知图转换器，将其集成到用户-物品交互建模中，从而实现自动协作理由发现。在 GFormer 中，用户-物品关系图的拓扑信息以图位置编码的形式被视为全局上下文。为了使 GFormer 适应不同的推荐环境，它在任务自适应协作理由发现的指导下，学习形成适当的交互模式作为自我监督信号。

​ 本文的贡献如下：

• 这项研究通过探索 SSL 增强协同合理化的增强方案，重新审视了自监督推荐。我们不仅在 SSL 中实现了自动数据增强器，还提供了对自监督增强背后的合理性的理解，以提高模型的鲁棒性。
• 我们提出了一种原则性方法，用于发现具有图转换器协作关系的不变原理。我们引入了任务感知适应，以缓解数据级差异问题。然后，需要使用图自动编码器来重建被掩盖的用户-项目交互，以便进行增强。

Method

模型的整体框架如下：

图不变基本原理说明

​ 为了消除噪声特征的影响，提高模型的可解释性，我们探索了具有合理化的表示学习，以识别指导模型预测结果的重要特征的子集。最近，合理化学习技术被引入到图表示学习中，通过发现重要的图结构信息的不变的基本原理，以有利于下游的图挖掘任务。在我们的基于图的CF场景中，我们的不变原理发现方案被设计为寻找图结构的子集，最好地指导下游推荐任务的自我监督增强。我们的图协作关系的不变基本原理发现旨在从两个角度优化以下目标：性能充分性和补充独立性。这一目标被正式规定为：

\(\min D\left(f(R(G)),f(G)\right)+I\left(R(G),C(R(G))\right)\)

​