GraphMAE2论文阅读笔记

Abstract

第一篇论文GraphMAE的想法是用自动编码器体系结构来重建被输入随机屏蔽的节点特征。但是掩蔽特征重构的性能依赖输入特征的可辩别性，容易受到特征的干扰。所以提出了一个掩蔽的自监督学习框架GraphMAE2，目的是克服这个问题，思想是对图自监督学习的特征重构进行正则化处理。具体的说，我们设计了多视图随机重掩码解码和潜在表示预测的策略来规范特征重构。多视图随机掩码是在特征空间的重构中引入随机性，而隐空间表示预测是在嵌入空间中强制重构。

Introduction

GraphMAE的主要思想是利用自动编码体系结构重构在编码前随机掩码的输入节点特征。它的技术贡献在于 1)掩码特征重构 2)固定的重掩码解码，其中先前掩码节点的编码嵌入在输入解码器之前再次被掩码。
尽管GraphMAE具有很好的性能，但是掩蔽特征的重构本质上依赖于输入节点特征的可区分性，即节点特征的可区分程度。在实践中，图中节点的特征通常是由于每个节点相关联的数据生成的，当使用较少区别的节点特征是，GraphMAE作为一种具有特征重构的生成式SSL框架，相对更容易受到特征的干扰。
在这项工作中，我们提出了GraphMAE2，目的是改进图SSL的特征重建。其思想是对目标重建进行正则化处理。为了实现这一点，我们引入了两种解码策略：多视图随机重掩码解码以减少对输入特征的过拟合，以及具有更多信息目标的潜在表示预测。
首先，我们提出在多视图随机重掩码解码的输入特征重构中引入随机性，而不是GraphMAE中使用固定的重掩码解码——重构掩码节点的编码嵌入。也就是说，编码的嵌入被随机重新掩码多次，并将其解码结果都强制恢复输入特征。其次，我们提出了潜在表示预测，它试图在嵌入空间中重构掩蔽特征，而不是在输入特征空间中重构。掩蔽节点的预测嵌入被约束以匹配它们直接从输入图生成的表示。这两种设计都很自然地作为生成图SSL中目标构造的正则化。

Method

我们首先回顾了图SSL的掩码自编码，并确定了其不足，即掩码特征重构的有效性易受输入节点特征的可区分性的影响。然后，我们提出了GraphMAE2，通过对特征解码进行正则化来克服这个问题。
模型的整体结构如下：

掩蔽特征重建中存在的问题：尽管性能优异，但由于节点特征的语义不准确，掩蔽节点特征重构仍存在潜在的问题。最近的一项研究表明，节点特征的可区分性会显著影响gnn在下游任务上的性能。在掩蔽特征重建中，较少的鉴别重建目标可能会导致误导和损害学习

GraphMAE2 Framework

我们提出GraphMAE2来克服上述问题。它遵循掩蔽预测范式，并进一步将正则化合并到解码阶段，以提高有效性。
为了改进特征重构，我们提出对编码的表示进行多次随机重掩码，并强制解码器从损坏的表示中重构输入特征。然后，为了最小化输入特征的直接影响，我们还强制执行该模型来预测在输入特征空间之外的嵌入空间中的掩蔽节点的表示。这两种策略都可以作为正则化的方法，以避免模型对输入特征的过拟合。此外，我们将GraphMAE2扩展到大型图，并建议对密集连接的子图进行采样，以适应GraphMAE2的训练。

多视图随机重新掩码解码

从输入特征重构的角度来看，我们在解码中引入了随机性，并要求解码器从不同的和部分观察到的嵌入中恢复输入