首页 > 其他分享 >论文解读(CoCo)《CoCo: A Coupled Contrastive Framework for Unsupervised Domain Adaptive Graph Classificati

论文解读(CoCo)《CoCo: A Coupled Contrastive Framework for Unsupervised Domain Adaptive Graph Classificati

时间:2024-04-09 11:02:09浏览次数:26  
标签:Domain right Contrastive 学习 CoCo mathcal boldsymbol left

Note:[ wechat:Y466551 | 可加勿骚扰,付费咨询 ]

论文信息

论文标题:CoCo: A Coupled Contrastive Framework for Unsupervised Domain Adaptive Graph Classification
论文作者:Xiao Shen、Quanyu Dai、Fu-lai Chung、Wei Lu、Kup-Sze Choi
论文来源:2023 aRxiv
论文地址:download 
论文代码:download
视屏讲解:click

1-摘要

  虽然图神经网络(GNNs)在图分类方面取得了令人印象深刻的成就,但它们往往需要丰富的任务特定标签,而获取这些标签的代价可能会很高。一个可信的解决方案是探索额外的标记图来增强目标域上的无监督学习。然而,由于对图拓扑的探索不足和领域差异显著,如何将gnn应用于领域自适应仍未得到解决。在本文中,我们提出了耦合对比图表示学习(CoCo),它从耦合学习分支中提取拓扑信息,并通过耦合对比学习减少域差异。CoCo包含一个图卷积网络分支和一个层次图核网络分支,它们以隐式和显式的方式探索图的拓扑。此外,我们将耦合分支合并到一个整体的多视图对比学习框架中,该框架不仅整合了从互补视图中学习到的图表示,以增强理解,而且还鼓励了具有相同语义的跨域实例对之间的相似性。在流行数据集上的大量实验表明,我们的CoCo在不同的设置下通常优于这些竞争基线。

2-介绍

贡献

  • 介绍了一种新的无监督域自适应图分类方法CoCo,该方法包含一个图卷积网络分支和一个层次图核网络分支,从不同的角度挖掘拓扑信息;
  • 一方面,跨分支对比学习鼓励耦合模块的一致性来生成全面的图表示。另一方面,跨域对比学习减少了具有相同语义的跨域对之间的距离,从而实现了有效的域对齐。
  • 在各种广泛使用的图分类基准数据集上进行的综合实验证明了所提出的CoCo的有效性。

3-方法

模型框架

  

3.1 图卷积分支

  GCN 通过消息传递隐式捕获结构信息 和 属性信息;

    $\boldsymbol{h}_{v}^{(l)}=\operatorname{COM}_{\theta}^{(l)}\left(\boldsymbol{h}_{v}^{(l-1)}, \operatorname{AGG}_{\theta}^{(l)}\left(\left\{\boldsymbol{h}_{u}^{(l-1)}\right\}_{u \in \mathcal{N}(v)}\right)\right)$

  图表示:

    $g_{\theta}(G)=\operatorname{READOUT}\left(\left\{\boldsymbol{h}_{v}^{(L)}\right\}_{v \in V}\right)  \quad(1)$

3.2 层次结构图内核网络分支

  hierarchical graph kernel network (HGKN) 显式 捕获图结构信息(高阶)

  通常,在每个层次层上,它通过图核将每个r-hop子图与可学习的滤波器图进行比较,以更新节点表示,然后使用基于注意力的池化操作来压缩图。在经过多个层次结构层之后,可以以端到端的方式获得图级表示。   具体来说,对于每个图,我们首先使用它的 r-hop 子图提取每个节点的局部信息,该子图包含 r 个边内的中心节点到达的所有节点,以及这些所选节点之间的所有边。为了从这些子图中生成拓扑信息,我们生成了M个不同大小的无向可学习图作为过滤器 $\left\{\tilde{G}_{1}^{(k)}, \cdots, \tilde{G}_{M}^{(k)}\right\}$,每个滤波器图 $\tilde{G}_{m}^{(k)}$ 都有一个可训练的邻接矩阵,每个节点都有一个属性。我们期望这些可学习的过滤器能够提取高阶结构信息,以便于更好的图分类。然而,大多数图核通常伴随着离散节点属性。为了解决这个问题,我们引入了一个量化操作 $Q(\cdot)$,它在网络转发过程中使用聚类来离散节点属性。通过 $Q(\cdot)$,连续的属性被离散的聚类分配所取代。然后,我们使用图核来比较离散输入图和滤波器图。

    $e_{v}^{(k)}(m)=\Phi\left(Q\left(S_{v}^{(k-1)}\right), \tilde{G}_{m}^{(k)}\right)  \quad(2)$

  其中,$S_{v}^{(k-1)}$ 表示在前一层以 $v$ 为中心的子图,$ \Phi(\cdot, \cdot)$ 表示给定的图核。

  然后,我们可以通过连接所有过滤器的输出来更新节点表示 $\boldsymbol{e}_{v}^{(k)} \in \mathbb{R}^{M}$,如下所示:

    $\boldsymbol{e}_{v}^{(k)}=\left[e_{v}^{(k)}(1), \cdots, e_{M}^{(v)}(M)\right] \quad(3)$

  最后,我们利用多层感知器(MLP)$\psi^{k}(\cdot)$ 将连接的核值投影到第 $k$ 层的节点表示中,即 $\boldsymbol{x}_{v}^{(k)}=\psi^{k}\left(\boldsymbol{e}_{v}^{(k)}\right)$。

3.3 多视角的对比性学习框架

3.3.1 跨分支对比学习

  考虑到该模型从互补视图学习图语义,我们对两个分支的图表示进行对比,以相互交换知识,提高了标签稀缺条件下目标数据的识别能力

  具体来说,对于源批 $\mathcal{B}^{s}$ 和目标批 $\mathcal{B}^{t}$ 中的每一个图 $G_{i}$,我们从耦合分支产生嵌入,即 $\boldsymbol{z}_{i}=g_{\theta}\left(G_{i}\right)$ 和 $\tilde{\boldsymbol{z}}_{i}=f_{\phi}\left(G_{i}\right)$   。然后,我们引入InfoNCE损失来增强交叉耦合分支的一致性。在配方中,

    $\mathcal{L}^{C B}=\frac{1}{\left|\mathcal{B}^{s}\right|+\left|\mathcal{B}^{t}\right|} \sum_{G_{i} \in \mathcal{B}^{s} \cup \mathcal{B}^{t}}-\log \frac{\exp \left(\boldsymbol{z}_{i} * \tilde{\boldsymbol{z}}_{i} / \tau\right)}{\sum_{G_{i^{\prime}} \in \mathcal{B}^{t}} \exp \left(\boldsymbol{z}_{i} * \tilde{\boldsymbol{z}}_{i^{\prime}} / \tau\right)} \quad(6)$

  其中,$\tau$ 表示温度参数,被设置为 0.5。

3.3.2 跨领域对比学习

  然而,由于图空间中严重的域移,图表示对于下游分类仍然存在偏差和不可靠。直观地说,源(目标)样本的表示应该接近于具有相同语义的目标(源)样本。为了实现这一点,我们需要生成目标数据的伪标签作为初步的。鉴于由于标签的缺乏,学习分类器是次优的和有偏的,我们通过比较目标图和源图之间的相似性,以非参数的方式生成伪标签。在此基础上,我们进行了跨域对比学习,使具有相同语义的跨域实例对与具有不同语义的实例对之间的距离最小化。

  目标域伪标签生成:

    $\hat{p}_{j}^{t}=\sum_{\left(G_{i}^{s}, y_{i}^{s}\right) \in \mathcal{B}^{s}}\left(\frac{\zeta\left(\boldsymbol{z}_{j}, g_{\theta}\left(G_{i}^{s}\right)\right)}{\sum_{\left(G_{i}^{s}, y_{i}^{s}\right) \in \mathcal{B}^{s}} \zeta\left(\boldsymbol{z}_{j}, g_{\theta}\left(G_{i}^{s}\right)\right)}\right) \boldsymbol{y}_{i}^{s}$

    $ \hat{y}_{j}^{t}=   \arg \max \left(\hat{p}_{j}^{t}\right)$

  其中,$\zeta\left(\boldsymbol{z}_{j}, g_{\theta}\left(G_{i}^{s}\right)\right)=\exp \left(\boldsymbol{z}_{j} * g_{\theta}\left(G_{i}^{s}\right) / \tau\right)$。

  跨域对比目标:

    $\mathcal{L}^{C D}=\sum_{G_{j}^{t} \in \mathcal{B}^{t}} \frac{-1}{|\Pi(j)|} \sum_{i \in \Pi(j)} \log \frac{\exp \left(\boldsymbol{z}_{j}^{t} * \boldsymbol{z}_{i}^{s} / \tau\right)}{\sum_{G_{i^{\prime}}^{s} \in \mathcal{B}^{s}} \exp \left(\boldsymbol{z}_{j}^{t} * \boldsymbol{z}_{i^{\prime}}^{s} / \tau\right)}  \quad(8)$

  我们的跨领域对比性学习目标有两个好处。一方面,考虑到每一项的分子惩罚了具有相同语义的源样本和目标样本之间的距离,我们的损失有助于生成域不变图表示。另一方面,由于对比学习取得了很好的结果,比较正对和负对的比较有助于开发鉴别图表示,在标签稀缺条件下进行有效的图分类。我们还在另一个分支中构造了对比学习目标,并将它们相加得到最终的损失。

3.3.3 训练目标

  总体目标:

    $\mathcal{L}=\mathcal{L}^{C B}+\mathcal{L}^{C D}+\mathcal{L}^{S}$

3.4 算法

  

4 实验

4.1 消融实验

4.1.1 组件消融实验

  

  1) CoCo/CB: It removes the cross-branch contrastive learning module;   2) CoCo/CD: It removes the cross-domain contrastive learning module;   3) CoCo-GIN: It uses two distinct GINs to generate coupled graph representations;   4) CoCo-HGKN: It uses two distinct HGKN to generate coupled graph representations.    5) CoCo-NP: It utilizes the non-parametric classifier instead of the MLP classifier for target domain prediction.

4.1.2 卷积消融实验

  

4.1.3 图核消融实验

  

 

标签:Domain,right,Contrastive,学习,CoCo,mathcal,boldsymbol,left
From: https://www.cnblogs.com/BlairGrowing/p/18100161

相关文章

  • 安装 cocoapods
    安装cocoapodssudogemsources--removehttps://rubygems.org/sudogemsources-ahttps://gems.ruby-china.com/gemsources-lsudogeminstall-n/usr/local/bincocoapods‍执行sudogeminstall-n/usr/local/bincocoapods​时遇到的错误:ERROR:Errori......
  • Win+Anaconda环境下安装pycocotools
    pipinstall-U'git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI'参照项目的配置环境,使用pipinstall下载pycocotools出现了报错:解决方法:在终端中输入以下代码,成功下载:pipinstallpycocotools-windows-ihttps://pypi.tuna.tsinghua.edu......
  • 论文解读()《An Empirical Study of Graph Contrastive Learning》
    Note:[wechat:Y466551|可加勿骚扰,付费咨询] 2024年4月3日15:39:16论文信息论文标题:AnEmpiricalStudyofGraphContrastiveLearning论文作者:论文来源:2021 NeurIPS论文地址:download 论文代码:download视屏讲解:click1-摘要图对比学习(GCL)为没有人工注释的图表示建立......
  • Domain Agnostic Learning with Disentangled Representations
    DomainAgnosticLearningwithDisentangledRepresentations1.Introduction本文研究了领域不可知论学习(DAL),这是一个比较困难但实际的问题,即知识从一个标记的源领域转移到多个未标记的目标领域。领域不可知学习的主要挑战是:(1)目标数据具有混合的领域,这阻碍了主流特征对齐......
  • [论文阅读] Domain generalization by learning and removing domain-specific featur
    1Introduction最近的研究发现,DNNs倾向于以与人类不同的方式学习决策规则[17,21,16]。例如,在基于ImageNet的图像分类任务中,卷积神经网络(CNNs)倾向于学习局部纹理以区分对象,而我们人类则可能使用全局对象形状的知识作为线索。DNNs学到的特征可能只属于特定的领域,对其他领域不具......
  • 中断子系统(一)IRQ Domain
    前言在现代计算机系统中,中断模块的硬件越来越复杂,有可能有多个中断控制器(InterruptController,IC)之间进行级联从而拓展可以管理的中断源数量。这就会产生几个问题,每个IC上都连接着多个设备,IC会给irqline连接的每一个设备分配一个硬件中断请求号(HWinterruptnumber,hwirq),不同......
  • jacoco+jenkins集成代码覆盖率
    1.需先在jenkins服务器上安装apache-ant(已安装)检查ant是否安装:ant-version 2.然后在jenkins服务器和测试环境上都安装jacoco(jenkins服务器和summer服务器已安装)cd /neworiental/jacocowgethttps://repo1.maven.org/maven2/org/jacoco/jacoco/0.8.5/jacoco-0.8.5.zipu......
  • Cocos实例3:VideoPlayer组件使用常见问题集
    VideoPlayer组件使用常见问题集Q1:为什么视频不能自动播放?即使勾选了PlayOnAwake属性。首先要确定是不是平台限制,在Web平台下,某些浏览器出于安全性和用户体验考虑,会阻止网页内嵌视频自动播放音频。在这种情况下,即使设置了playOnAwake也可能不会自动播放,除非用户有交互行......
  • Cocos实例2:实现VideoPlayer奥利奥夹心饼干
    实现VideoPlayer奥利奥夹心饼干在CocosCreator中,VideoPlayer支持的视频格式为mp4,所以在需要使用到VideoPlayer组件时,确保视频资源是正确的编码和格式。另外不同平台对于VideoPlayer组件的授权、API都不同,并没有形成统一的标准,Creator中的VideoPlayer组件目前只支持Web......
  • CocosCtreator知识点4:Creator中的坐标系和节点属性详解
    Creator中的坐标系和节点属性详解在CocosCreator中,游戏场景(Scene)是开发时组织内容的基础,也是呈现给玩家所有游戏内容的载体。而节点是场景的基础组成单位。可以把场景理解为组织内容的空间或平台,所有的内容(节点)通过其位置属性确定在该空间中的某个位置呈现。而为了确定空间......