首页 > 其他分享 >Neo-GNNs: Neighborhood Overlap-aware Graph Neural Networks for Link Prediction

Neo-GNNs: Neighborhood Overlap-aware Graph Neural Networks for Link Prediction

时间:2024-08-25 15:29:15浏览次数:13  
标签:Neo Neighborhood struct Neural sum times ij theta mathcal

目录

Neo-GNNs: Neighborhood overlap-aware graph neural networks for link prediction. NeurIPS, 2021.

一种计算上相对高效的, 同时利用结构信息和特征信息的链接预测模型.

符号说明

  • \(\mathcal{G} = (\mathcal{V}, \mathcal{E})\), graph;
  • \(\mathcal{V} = \{v_1, v_2, \ldots, v_N\}\), \(N\) nodes;
  • \(\mathcal{E} = \{e_{ij} | v_i, v_j \in \mathcal{V}\}\), edges;
  • \(A \in \mathbb{R}^{N \times N}\), adjacency matrix;
  • \(D \in \mathbb{R}^{N \times N}\), diagonal matrix \(D_{ii} = \sum_{j} A_{ij}\);
  • \(X \in \mathbb{R}^{N \times F}\), node features

Motivation

  • link prediction 有很多启发式的方法, 比如利用

    \[S_{CN}(u, v) = |\mathcal{N}(u) \cap \mathcal{N}(v) | = \sum_{k \in \mathcal{N}(u) \cap \mathcal{N}(v)} 1, \\ S_{RA}(u, v) = \sum_{k \in \mathcal{N}(u) \cap \mathcal{N}(v)} \frac{1}{d_k}, \\ S_{AA}(u, v) = \sum_{k \in \mathcal{N}(u) \cap \mathcal{N}(v)} \frac{1}{\log d_k}. \]

  • 作者的做法是将它一般化, 即

    \[S(u, v) = \sum_{k \in \mathcal{N}(u) \cap \mathcal{N}(v)} x_k. \]

Neo-GNN

  • \(x_k\) 是这般设计的:

    \[x_i^{struct} = \mathcal{F}_{\theta}(A_i) = f_{\theta_{node}} \bigg( \sum_{j \in \mathcal{N}_i} f_{\theta_{edge}} (A_{ij}) \bigg), \]

    通过可学习的参数从邻接矩阵 \(A\) 中获得有用的结构信息.

  • 有更一般的计算方式. 我们令

    \[X^{struct} = \text{diag}(x^{struct}) \in \mathbb{R}^{N \times N}, \]

    则当 \(f_{\theta_{edge}}(x) = x\) 而 \(f_{\theta_{edge}}(x) = 1 / \sqrt{\log x}\) 的时候,

    \[S(u, v) = z_u^T z_v, \: Z = AX^{struct}. \]

  • 更为一般的, 为了利用更高阶的信息, 作者实际上采用如下的形式:

    \[Z = g_{\Phi} (\sum_{l=1}^L \beta^{l-1} A^l X^{struct}), \]

    其中 \(\beta\) 是用来控制高阶信息的一个超参数.

  • 除此之外, 通过一个普通的 GNN 得到传统的 (smoothed) 节点特征:

    \[H = \text{GNN}(X, \tilde{A}_{GNN}; W) \in \mathbb{R}^{N \times d'}. \]

  • 最后两个结点存在边的概率通过如下的方式得到:

    \[\hat{y}_{ij} = \alpha \cdot \sigma (z_i^T z_j) + (1 - \alpha) \cdot \sigma (s(h_i, h_j)), \]

    其中 \(\alpha\) 是可训练的参数.

  • 训练的时候, 两个分支也要单独参与训练:

    \[\mathcal{L} = \sum_{(i, j) \in D} (\lambda_1 BCE(\hat{y}_{ij}, y_{ij})) + \lambda_2 BCE(\sigma(z_i^T z_j), y_{ij}) + \lambda_3 BCE(\sigma(s(h_i, h_j)), y_{ij}). \]

代码

[official]

标签:Neo,Neighborhood,struct,Neural,sum,times,ij,theta,mathcal
From: https://www.cnblogs.com/MTandHJ/p/18378977

相关文章

  • neo4j修改关系权限
    查询数据集更新数据集//匹配所有`ROLE_PERMISSION`关系路径MATCHp=()-[r:ROLE_PERMISSION]->(res)//筛选出路径中包含名为"开发人员"的节点,并且资源节点的名称为"埋点订单明细表"WHEREall(nINnodes(p)WHERENOTn.nameISNULL)ANDany(nINnodes(p)WHEREn.nam......
  • COMP 627 COMP 627 Neural Networks and Applications
    1COMP627–Assignment1Note:RefertoEq.2.11inthetextbookforweightupdate.Bothweights,w1andb,needtobeadjusted.AccordingtoEq.2.11,forinputx1,errorE=t-yandlearningrateβ:w1_new=w1_old+βEx1;bnew=bold+βECOMP627Neural......
  • 【NeRF】对小白友好的Neural_Radiance_Fields讲解
    @目录1.Definitionoffield(场的定义)1.1shaperepresentations(各种形状表征方式)1.2Explicitsurfacesandimplicitsurfaces1.3RadianceField(ImplicitSurfaces)体素密度2.DefinitionofRendering(渲染的定义)2.1SphereTracing(球追踪技术)2.2Volumnrender(体渲染)3.3Dconte......
  • 吴恩达深度学习笔记:卷积神经网络(Foundations of Convolutional Neural Networks)1.5-1.
    目录第四门课卷积神经网络(ConvolutionalNeuralNetworks)第一周卷积神经网络(FoundationsofConvolutionalNeuralNetworks)1.5卷积步长(Stridedconvolutions)1.6三维卷积(Convolutionsovervolumes)第四门课卷积神经网络(ConvolutionalNeuralNetworks)第一周......
  • Neuralink的进展与马斯克的技术愿景——从脑机接口到AI融合的未来
    引言Neuralink,这个由埃隆·马斯克(ElonMusk)创立的公司,一直是科技界的焦点。自从其发布以来,Neuralink的脑机接口技术便吸引了全球的目光。最近,马斯克再次向公众展示了Neuralink的突破性进展,成功为第二位患者植入了脑机接口。这项手术标志着Neuralink在增强人类与机器互动能......
  • 深度学习——神经网络(neural network)详解(二). 带手算步骤,步骤清晰0基础可看
    深度学习——神经网络(neuralnetwork)详解(二).手算步骤,步骤清晰0基础可看前文如下:深度学习——神经网络(neuralnetwork)详解(一).带手算步骤,步骤清晰0基础可看运用神经网络模型进行房价预测具体手算过程,具体示例假设我们有一个简单的神经网络,还是之前这个神经网络,输入层2个......
  • Neo4j 实现一个简单的CMDB管理平台
    简介Neo4j是一个高性能的图形数据库管理系统,它使用图形模型来存储和查询数据。图形数据库与传统的关系型数据库不同,它们使用节点和边来表示数据实体和它们之间的关系,而不是使用表格和行,可以使用neo4j实现权限系统,知识图谱,cmdb等部署dockerrun-d--name=neo4j\--publis......
  • 【技术前沿】3.3KW高功率密度新突破!基于Infineon XMC1400搭配CoolSiC™ Mosfet 的PFC
    随着社会经济发展、能源结构变革,近几年全球对家用储能系统的需求量一直保持相当程度的增长。2023年,全球家用储能系统市场销售额达到了87.4亿美元,预计2029年将达到498.6亿美元,年复合增长率(CAGR)为33.68%(2023-2029);便携储能市场经过了一轮爆发式增长的狂欢后,现在也迎来了稳定增长期......
  • CIFAR-10 Implementing a Convolutional Neural Network
    Coding Assignment 4: Implementing aConvolutional Neural Network for CIFAR-10using KerasJuly 28, 20241 OverviewInthisassignment,youwillimplement a Convolutional Neural Network (CNN) to classify images from the CIFAR-10 dataset......
  • 老旧 Linux 系统搭建现代 C++ 开发环境 —— 基于 neovim
    问题背景公司配发的电脑是macOS,日常开发需要访问Linux虚拟机,出于安全方面的考虑,只能通过跳板机登录。这阻止了大多数远程图形界面的使用,让写代码的工作变得复杂起来,市面上非常好用的VSCode都用不了。因此考虑基于vim搭建一套个人开发环境,需要支持以下特性:语法高亮(风格......