文章链接：
发表在NeurIPS的一篇文章，傅里叶图神经网络
在多变量时间序列预测领域，当时最主流的基于图神经网络的预测方法，需要图网络和时间网络来分别捕获空间和时间依赖关系。
这样会造成两个问题，一个是这两个网络拼接的不确定性给建模带来了很多麻烦。另一个是把他们分开建模从根本上就违反了现实世界中它们的统一相关性
为了克服这些问题，作者从纯图的角度提出了超变量图，就是一个包含所有序列值的全联通图。
但这会造成图的阶数非常大，计算成本也就变的很大
为了解决计算成本问题提出了在傅里叶域上的图神经网络
将他的创新点全部抽出的话，作者就做出了以下贡献
它不像之前的图神经网络，N个属性T个步长的 序列输入为T张图，它把不同变量的所有序列值都放入一张图中，而且节点与节点间是全连接的。
这种设计中每个变量的节点链接代表序列内的时间依赖关系。。。。。。
这里就是，它将输入的时间序列Xt构造出一个全连接图，At是这个图的邻接矩阵，这样就可以将多变量时间序列预测任务重新表述为超变量图上的预测
但是有一个很明显的问题，超变量图大小会随着变量 N 的数量和窗口 T 的大小而增加
因此他们提出了FourierGNN ，而这个傅里叶图卷积主要架构建立在傅里叶图算子FGO之上（n节点数、d特征数）
FGO就是等于Aij与W做哈达玛积运算后得到k，对k进行傅里叶变换的结果；（w:引入的权重矩阵）
在对这个FGO改变成，n不变的FGO，就是在超变图的情况下，节点数 n 是固定的，不会随着图的规模而改变
他这里也是做了一个实验（点鼠标，虽然n*d*d维FGO更有灵活性，但是因为他的模型是堆叠了多个FGO，这必然会出现训练不足或者过拟合）
这边的傅里叶矩阵乘法，就是通过一系列的数学推导得到最后的卷积方程
接着他们提出了通过堆叠多层 FGO，实现K 层傅里叶图神经网络，公式1就是它的定义
其中，Ak 第 k 个邻接矩阵，他有与 A 相同的稀疏模式
特别的，S0、W0、A0 是单位矩阵，作者团队在 k = 0 处采用相同的激活来获得残差 F（X）。(同时因为FourierGNN 中的所有操作都在 Fourier 空间中执行，所以所有参数都是复数。)
观察公式2的右侧部分，它分配了不同的权重来权衡每个扩散序中不同邻居的信息。这使 FourierGNN 能够捕获超变量图中的时空依赖性.
咱们根据公式3进行时间复杂度的分析，原本在时域上因为需要做矩阵乘法所以整体的时间复杂度为n2d+nd2，
在等效频域上，傅里叶变换的复杂度为 O(nlogn) 同时要在每个节点上处理 d维特征，所以前一项是ndlogn
每次递归中，需要对 n个节点的 d维特征进行矩阵乘法，一共有k次递归所以时间复杂度为knd2
两个时间复杂度比较发现频域上的运算使fourierGnn更加高效
接着就是讲FourierGNN如何用于多元时间序列预测
中间堆叠的多个FGO就是我们前面大篇幅讲的内容
整个过程就是首先根据给定的输入数据xt构建一个全连接超变量图，这个图的邻接矩阵被初始化为全1方阵，然后通过1*d维的嵌入矩阵E将Xt从nd*1维转变为nt*d维
接着将嵌入的超变量图送到 FourierGNN
这个中间部分做的就是把数据通过傅里叶变换转换到频域，进行递归乘法并求和后输出 yt，再把结果通过逆傅里叶变换转换到时域的一个过程
最终通过一个全连接层生成t步预测
首先是数据集，作者团队在来自不同应用场景的七个代表性数据集上评估了他们的方法，包括交通、能源、网络流量、心电图和 COVID-19。
（不读：所有数据集都使用 min-max 规范化进行规范化。除了 COVID-19 数据集外，我们将其他数据集按时间顺序分为训练集、验证集和测试集，比例为 7：2：1。对于 COVID-19 数据集，该比率为 6：2：2。）
这是总的基于12个时间步预测未来12个时间步的性能表现，所采用的基线有四个基于transformer的时序预测模型和四个基于GNN的模型
基本上fourierGnn都能达到最好效果
除此之外作者团队还针对四个数据集分别做了预测未来3，6，9，12步的预测结果对比，以WIKI数据集为例（维基百科文章的每日浏览量），fourierGnn在所有步长上的运行结果都是最优的
下面是以图的方式展示它不同预测长度的效果
这里是不同模型在两个代表性数据集上的参数量和训练时间成本的对比表，可以看出fourierGnn在有较好的预测效果的情况下它的参数量更少且训练时间更短
这里是不同模型在不同图形大小下的预测效果对比图。可以看出，fourierGnn针对不同的节点数它预测结果都能有所保证
这里就是做一个消融实验，验证这个模型的每个组件的有效性
接着是可视化实验，首先是时间表征的可视化
作者从新冠数据集中随机选择 8 个县，并计算每个县 12 个连续时间步长的关系
然后，他们通过热图将邻接矩阵进行了可视化
可以看出图中每个县的热力分布都是不一样的，这表明fourierGnn是能够学到不同的时间模式
接着是空间表征的可视
作者随机选择 20 个检测器，并通过热图可视化它们相应的邻接矩阵
这里作者从新冠数据集中选择 10 个县，并在两个不同的时间戳处可视化它们的邻接矩阵
从第一行可以发现，随着层数的增加，一些相关性值会减少，这表明一些相关性被过滤掉了。
对比之下第二行，一些相关性随着层数的增加而增强。
这表明，FGO 不仅可以去除噪声，还可以自适应地捕获重要模式
作者为了探究模型如何学习时变的依赖关系，在 新冠数据集上了 随机选择10 个县，对它们连续四天的邻接矩阵进行可视化。
可视化结果揭示了空间模式在时间维度上表现出连续的演变，而不是突变的
