SimGRACE论文阅读笔记

Abstract

​ 图对比学习（GCL）已经成为图表示学习的一种主导技术，它最大限度地提高了共享相同语义的成对图增强之间的互信息。不幸的是，由于图数据的多样性，在扩充过程中很难很好地保存语义。目前，GCL的数据扩充大致可分为三种不令人满意的方式。第一，可以通过试错法手动选择每个数据集的增强量。第二，可以通过繁琐的搜索来选择增强功能。第三，这些增强可以以昂贵的领域知识作为指导来获得。所有这些都限制了现有的GCL方法的效率和更普遍的适用性。为了规避这些关键问题，我们提出了一个简单的图对比学习框架，称为SimGRACE，它不需要数据扩充。具体来说，我们将原始图作为输入，以其扰动版本的GNN模型作为两个编码器，得到两个相关的视图进行对比。SimGRACE的灵感来自于这样一种观察，即图数据可以在编码器扰动时很好地保持语义，而不需要手动试验、繁琐的搜索或昂贵的领域知识来增强选择。此外，我们设计了对抗性训练方案，称为AT-SimGRACE，以增强图对比学习的鲁棒性。

Introduction

​ GraphCL 首先为GCL设计了四种类型的通用增强器（节点删除、边缘扰动、属性掩蔽和子图）。然而，这些增强并不适用于所有的场景，因为图的结构信息和语义在不同的域中存在显著差异。例如，GraphCL 发现，边缘扰动有利于社会网络，但损害了GCL中的一些生化分子。更糟糕的是，即使扰动很弱，这些增强也可能会完全改变图的语义。例如，在苯环中滴下一个碳原子会改变芳香体系，形成一个烯烃链，这将极大地改变分子性质。

​ 一个自然的问题出现了：我们能否将图形对比学习从繁琐的手工试验、繁琐的搜索或昂贵的领域知识中解放出来？为了回答这个问题，我们没有为GCL设计更先进的数据增强策略，而是尝试突破最先进的GCL框架，该框架以语义保留的数据增强作为先决条件。更具体地说，我们将原始图数据作为输入，将其扰动版本的GNN模型作为两个编码器，得到两个相关的视图。然后，我们最大化这两种观点的一致。以编码器扰动为噪声，我们可以得到两种不同的嵌入，对于相同的输入作为“正对”。与之前的工作类似，我们将同一小批处理中的其他图形数据作为“负对”。

​ 本文的贡献如下：

• 重要性：我们将图对比学习从繁琐的手工试验、繁琐的搜索或昂贵的领域知识中解放出来，这些限制了现有GCL方法的效率和更普遍的适用性
• 框架：我们开发了一个新颖而有效的框架，SimGRACE，用于图形对比学习，它具有前所未有的灵活性、高效率和易用性。
• 算法：我们提出了一种新的算法AT-SimGRACE来增强图对比学习的鲁棒性。ATSimGRACE可以在引入较小的计算开销的同时实现更好的鲁棒性。

Method

模型的结构图如下：

SimGRACE

​ 本节中，我们将详细介绍SimGRACE框架，该框架由以下三部分组成

编码器扰动

​ 一个GNN编码器和其扰动版本首先为同一个图提取两个图级表示，可以表示为\(\mathbf{h}=f(\boldsymbol{G};\boldsymbol{\theta}),\mathbf{h}^{\prime}=f(\boldsymbol{G};\boldsymbol{\theta}^{\prime}).\)我们提出的扰动编码器f（·；θ）的方法可以在数学上描述为：\(\theta_l^{\prime}=\theta_l+\eta\cdot\Delta\theta_l;\quad\Delta\theta_l\sim\mathcal{N}\left(0,\sigma_l^2\right)\)

投影头

一个名为投影头的非线性变换g（·）将表示形式映射到另一个潜在空间可以提高性能。在我们的SimGRACE框架中，我们还采用了一个两层感知器（MLP）来获得z和z‘：

\(z=g(\mathbf{h}),z^{\prime}=g(\mathbf{h}^{\prime}).\)

对比学习

​ 在SimGRACE框架中，我们利用归一化温度尺度的交叉熵损失作为之前的工作来加强正对z和z‘与负对之间的一致性。在SimGRACE训练过程中，随机抽取N个图，然后将它们输入GNN编码器及其扰动版本，每个图有两个表示，总共有2N个表示。负对是由相同的小批处理中的其他N−1个扰动表示生成的。将余弦相似度函数表示两个表示之间的相似性:

\(\ell_n=-\log\frac{\exp\left(\sin\left(z_n,z_n^{\prime}\right)\right)/\tau)}{\sum_{n^{\prime}=1,n^{\prime}\neq n}^N\exp\left(\sin\left(z_n,z_{n^{\prime}}\right)/\tau\right)},\)

​