首页 > 其他分享 >Generalised f-Mean Aggregation for Graph Neural Networks

Generalised f-Mean Aggregation for Graph Neural Networks

时间:2023-12-27 17:12:09浏览次数:43  
标签:Generalised mathbb frac Neural Graph sum mathcal theta mean

目录

Kortvelesy R., Morad S. and Prorok A. Generalised f-mean aggregation for graph neural networks. NIPS, 2023.

基于 MPNN 架构的 GNN 主要在于 aggregator 和 update function 两部分, 一般来说后者是参数化的主要方式. 本文提出一种新的参数化 aggregator 的方法, 能够覆盖绝大部分经典的 aggregators.

符号说明

  • \(\mathcal{X} = \{x_1, x_2, \ldots, x_n\}\), 一批结点的 embedding, \(|\mathcal{X}| = n\), node embedding, \(x_i \in \mathbb{R}^d\);
  • \(\odot: \mathbb{R}^{n \times d}\), aggregation function.

GenAgg

  • 作者提出这样的 generalized f-mean:

    \[f^{-1}(\frac{1}{n} \sum_{i} f(x_i)), \]

    比如 \(f(x) = \frac{1}{x}\) 的时候, 有

    \[ \odot(\mathcal{X}) = \frac{n}{\sum \frac{1}{x_i}} \]

    为 harmonic mean.

  • 不过这种定义太强了, 有些常用的 aggregator (如 'sum') 没法满足, 所以本文首先提出一种 augmented f-mean:

    \[f^{-1} \bigg( n^{\alpha - 1} \sum_{i} f(x_i - \beta \mu), \bigg) \]

    其中 \(\alpha, \beta\) 是可学习的参数, \(\mu\) 可以是均值 \(\mu = \frac{1}{n} \sum x_i\).
    上表列出不同 \(\langle f, \alpha, \beta \rangle\) 下的 aggregation function.

  • 除了给定具体的 \(f\) 外, 我们也可以直接用神经网络去拟合 \(f\), 为了保证 \(f\) 的可逆性, 我们可以用 normalizing flows 的技术实现.

  • 不过, 另一方面, 我们可以采用很简单的方式, 用两个不同的 MLP 来分别作为 \(f, f^{-1}\), 同时在训练的时候施加如下的约束:

    \[ \mathcal{L}_{inv}(\theta_1, \theta_2) = \mathbb{E}\bigg[ \big( |f_{\theta_2}^{-1}(f_{\theta_1}(x))| - |x| \big)^2 \bigg]. \]

  • 注意, 一般来说, \(f: \mathbb{R}^1 \rightarrow \mathbb{R}^1\), 为了增加一些表达能力, 我们也可以用

    \[ f: \mathbb{R}^{1} \rightarrow \mathbb{R}^d, \quad f^{-1}: \mathbb{R}^{d} \rightarrow \mathbb{R}^1. \]

代码

[official]

标签:Generalised,mathbb,frac,Neural,Graph,sum,mathcal,theta,mean
From: https://www.cnblogs.com/MTandHJ/p/17930957.html

相关文章

  • Neural Networks for Game AI: A Comprehensive Overview
    1.背景介绍随着计算机游戏的不断发展和进步,游戏人工智能(AI)已经成为游戏开发中的一个重要组成部分。在过去的几十年里,游戏AI的研究和应用已经取得了显著的进展,但仍然面临着许多挑战。这篇文章将深入探讨神经网络在游戏AI中的应用和挑战,并提供一个全面的概述。神经网络是一种模仿生物......
  • 人工智能大模型原理与应用实战:从AutoML to Neural Architecture Search
    1.背景介绍人工智能(ArtificialIntelligence,AI)是一门研究如何让机器具有智能行为的学科。在过去的几年里,人工智能技术取得了显著的进展,尤其是在深度学习(DeepLearning)和自然语言处理(NaturalLanguageProcessing,NLP)等领域。这些技术的发展受益于大规模的计算资源和数据集,以及更......
  • ARC105E Keep Graph Disconnected 题解
    ARC105E正向考虑是很难的,从结果入手,发现最后一定是分别包含\(1\),\(n\)的两个完全图。考虑表示出这两个人一共加了多少边:\(\frac{n(n-1)}{2}-m-x(n-x)\),\(x\)表示点\(1\)所在集合的大小。由于是判断先手还是后手必胜,所以只需看结果对\(2\)的余数,于是对\(n\)的奇偶进行......
  • Neural Networks for Weather Prediction: Enhancing Accuracy with Deep Learning
    1.背景介绍气象预报是一项对于人类生活和经济发展至关重要的科学。传统的气象预报方法主要包括观测、数据处理、数值预报和预报分析等。随着计算能力和数据量的增加,人工智能技术,尤其是深度学习,在气象预报中发挥了越来越重要的作用。在这篇文章中,我们将介绍如何使用神经网络来预测气......
  • Graph Condensation for Graph Neural Networks
    目录概符号说明MotivationGCOND代码JinW.,ZhaoL.,ZhangS.,LiuY.,TangJ.andShahN.Graphcondensationforgraphneuralnetworks.ICLR,2022.概图上做压缩的工作.符号说明\(\mathbf{A}\in\mathbb{R}^{N\timesN}\),邻接矩阵;\(\mathbf{X}\in\mathbb{......
  • 将perf跟funcgraph-retval结合起来使用
    作者[email protected]概述下面是之前写的使用funcgraph-retval的文章:https://www.cnblogs.com/pengdonglin137/p/17126952.htmlhttps://www.cnblogs.com/pengdonglin137/p/17723412.html上面的文章里,都是直接通过命令行配置ftrace来使用的,过程稍微有些繁琐,linux提供......
  • Flink源码解析(九)——ExecutionGraph生成过程解析
    一、ExecutionGraph介绍介绍ExecutionGraph是调度Flink作业执行的核心数据结构,包含了作业中所有并行执行的Task信息、Task之间的关联关系、数据流转关系。相比于StreamGraph、JobGraph,ExecutionGraph加入了并行度的概念,成为真正可调度的图结构。下图是一个ExecutionGraph的简单示......
  • Codeforces 1900E Transitive Graph
    考虑题目的限制条件:存在$a\tob,b\toc$的边,就会有$a\toc$的边。考虑$p_{1\simk}$,满足这$k$个点按顺序组成了一个环且无重点。那么$p_1\top_2,p_2\top_3$,就有$p_1\top_3$,又有$p_3\top_4$,所以有$p_1\top_4$。以此类推,会发现$\foralli,j\in[1,k],i\not......
  • [Qt5] QGraphics图形视图框架概述(Item、Scene和View)
    作者:丶布布文章预览:......
  • [ARC105E] Keep Graph Disconnected
    NOIP模拟赛原题,赛时还是没切。正解奇偶性。考虑最终不能走的时候是什么情况,当且仅当图中只剩下两个联通块了。设其中一个联通块的点数为\(k\),那么另一个的点数为\(n-k\)。所以两人一共的操作次数为\(sum=\frac{n\times(n-1)}{2}-m-k\times(n-k)\)。显然如果\(sum......