首页 > 其他分享 >Identity-aware Graph Neural Networks

Identity-aware Graph Neural Networks

时间:2024-07-01 15:10:37浏览次数:20  
标签:mathbf Neural Graph ID text 节点 GNN Networks Identity

目录

You J., Gomoes-Selman J., Ying R. and Leskovec J. Identity-aware graph neural networks. AAAI, 2021.

提出了一种能够超越 1-WL-Test 的 GNN.

ID-GNN

  • ID-GNN 的 motivation 主要如下:

  • 主要到, 传统的 MPNN, 即第 \(k\) 层:

    \[\mathbf{m}_u^{(k)} = \text{MSG}^{(k)} (\mathbf{h}_u^{(k-1)}), \\ \mathbf{h}_v^{(k)} = \text{AGG}^{(k)} ( \{ \mathbf{m}_u^{(k)}, u \in \mathcal{N}(v) \}, \mathbf{h}_v^{(k-1)} ). \]

    这种方式, 对于上图的三种任务, 其实都是无法区分的 (如果不考虑初始特征的差异), 因为虽然整体结构不同, 通过 MPNN 所导出的树的结构是一致的, 所以不同的节点也会有相同的节点表征.

  • ID-GNN 的想法很简单, 就是为对 ego 节点 \(v\) 和其它节点采取不同的消息传播方式:

    \[\text{MSG}_{\mathbb{I}[s = v]} (h_s^{(k-1)}). \]

    \(\mathbb{I}[s=v] = 1\) 当 \(s=v\) 否则为 0.

  • 具体的算法如上.

标签:mathbf,Neural,Graph,ID,text,节点,GNN,Networks,Identity
From: https://www.cnblogs.com/MTandHJ/p/18278088

相关文章

  • [题解]CF1712D Empty Graph
    思路因为我们枚举的直径是具备单调性的,所以可以使用二分答案。我们可以想一个事情,如果有两个点\(u\)和\(v\),它们两点之间的最短路径要么是直接从\(u\tov\);要么是经过一个中转点\(t\),即:\(u\tot\tov\)。然后,我们可以发现一个显然的规律,就是\(t\)一定是区间\(a\)中......
  • 从一到无穷大 #29 ByteGraph的计算,内存,存储三级分离方案是否可以通用化为多模数据库
    本作品采用知识共享署名-非商业性使用-相同方式共享4.0国际许可协议进行许可。本作品(李兆龙博文,由李兆龙创作),由李兆龙确认,转载请注明版权。文章目录引言ByteGraph现有架构阿里云Lindorm腾讯YottaDB多模型化修改点ByteGraph论文中的优化点概述DynamicThrea......
  • COMP9444 Neural Networks and Deep Learning
    COMP9444 Neural Networksand Deep LearningTerm 2, 2024Assignment -Charactersand Hidden Unit DynamicsDue:Tuesday2July, 23:59 pmMarks:20%of final assessmentInthisassignment,youwill be implementingandtraining neural network m......
  • 【QCustomPlot实战系列】QCPGraph堆叠图
    将一个QCPGraph叠加到另一个QCPGraph上显示,就得到了折线堆叠图staticQCPScatterStyleGetScatterStyle(constQColor&color){QPenpen(color,2);returnQCPScatterStyle(QCPScatterStyle::ssCircle,pen,Qt::white,......
  • Graphicator:一款功能强大的GraphQL枚举与提取工具
    关于GraphicatorGraphicator上一款功能强大的GraphQL枚举与提取工具,该工具可以对目标GraphQL节点返回的内部文档进行迭代,然后以内部形式重新构建数据模式,以便重新创建支持的查询。创建此类查询时,将使用它们向GraphQL节点发送请求,并将返回的响应保存到文件中。工具不会保存错......
  • 文献总结:ON THE TRAINING AND GENERALIZATION OF DEEP OPERATOR NETWORKS(关于深度算
    ONTHETRAININGANDGENERALIZATIONOFDEEPOPERATORNETWORKS(关于深度算子网络的训练和泛化)remark:相较于之前的文章,这篇更新了两个重要定理的证明!算子网络DeepONet由两个网络构成,即trunk网络和branch网络,通常是同时训练这两个网络,这相当于是在高维空间中解决复杂的优......
  • 论文阅读:Improved Graph Contrastive Learning for Short Text Classification
    LiuY,HuangL,GiunchigliaF,etal.Improvedgraphcontrastivelearningforshorttextclassification[C]//ProceedingsoftheAAAIConferenceonArtificialIntelligence.2024,38(17):18716-18724.GIFT模型的github网址整体框架图首先,构建一个由Gw、Ge和Gp三......
  • Vector | Graph:蚂蚁首个开源Graph RAG框架设计解读
    检索增强生成(RAG:RetrievalAugmentedGeneration)技术旨在把信息检索与大模型结合,以缓解大模型推理“幻觉”的问题。近来关于RAG的研究如火如荼,支持RAG的开源框架也层出不穷,并孕育了大量专业领域的AI工程应用。我们设计了一个通用的开源RAG框架,以兼容未来多样化的基础研究建设和工......
  • C. Lexicographically Largest
    原题链接题解1.第\(i\)个位置上的数,对\(S\)的贡献最大不会超过\(a_i+i\),我们令其为\(c_i\)2.我们不去细想如何操作才能得到最优解,而是去想第一大的\(b\)是多少?第二大的\(b\)是多少?3.对\(c_i\)降序排序得到\(b_i\),如果所有\(b_i\)都不同,那么直接输出即可。4.但......
  • Structure-Aware Transformer for Graph Representation Learning
    目录概SAT代码ChenD.,O'BrayL.andBorgwardtK.Structure-awaretransformerforgraphrepresentationlearning.ICML,2022.概Graph+Transformer+修改attention机制.SATTransformer最重要的就是attention机制:\[\text{Attn}(x_v)=\sum_{v\in......