STEP: 用于多变量时间序列预测的预训练增强时空图神经网络《Pre-training Enhanced Spatial-temporal Graph Neural Network for Multi

2023年12月27日，看一篇老师给的论文。

论文：Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting

或者是：Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting

GitHub：https://github.com/zezhishao/STEP

KDD 2022的论文。

摘要

多变量时间序列（MTS）预测在广泛的应用中发挥着重要作用。最近，时空图神经网络（STGNNs）日益成为流行的 MTS 预测方法。STGNNs 通过图神经网络和序列模型对 MTS 的空间和时间模式进行联合建模，大大提高了预测精度。但受限于模型的复杂性，大多数 STGNN 只考虑短期的 MTS 历史数据，如过去一小时内的数据。然而，时间序列的模式和它们之间的依赖关系（即时间和空间模式）需要基于长期历史 MTS 数据进行分析。为了解决这个问题，我们提出了一个新颖的框架，其中 STGNN 由一个可扩展的时间序列预训练模型（STEP）来增强。具体来说，我们设计了一个预训练模型，从长期历史时间序列（如过去两周）中有效地学习时间模式，并生成分段级表征。这些表征为 STGNN 的短期时间序列输入提供了上下文信息，并有助于对时间序列之间的依赖关系进行建模。在三个公开的真实世界数据集上进行的实验表明，我们的框架能够显著增强下游 STGNN，而且我们的预训练模型能够恰当地捕捉时间模式。

1 引言

从交通、能源到经济，多变量时间序列数据在我们的生活中无处不在。它包含多个相互关联变量的时间序列。根据历史观测结果预测未来趋势对于帮助做出更好的决策具有重要价值。因此，几十年来，多变量时间序列预测一直是学术界和工业界经久不衰的研究课题。

事实上，多变量时间序列一般可以形式化为时空图数据 [36]。一方面，多变量时间序列具有复杂的时间模式，如多重周期性。另一方面，由于变量之间存在潜在的相互依赖关系，不同的时间序列会影响其他时间序列的演化过程，而这种相互依赖关系是非欧几里得的，可以用图结构进行合理建模。以交通流系统为例进行说明，每个传感器对应一个变量。图 1(a) 描述了部署在道路网络上的两个传感器生成的交通流时间序列。显然，有两种重复的时间模式，即每日周期和每周周期。早晚高峰每天都会出现，而工作日和周末则表现出不同的模式。此外，这两个时间序列的趋势非常相似，因为所选传感器20和301在交通网络中紧密相连。因此，准确的时间序列预测不仅取决于其时间维度的模式，还取决于其相互关联的时间序列。此外，值得注意的是，我们是在观察足够长的时间序列的基础上进行上述分析的。

为了做出准确的预测，时空图神经网络（STGNNs）最近引起了越来越多的关注。STGNNs 结合了图神经网络 (GNNs) [18] 和序列模型。前者用于处理时间序列之间的依赖关系，后者用于学习时间模式。得益于对空间和时间模式的联合建模，STGNNs 取得了最先进的性能。此外，最近越来越多的研究都在进一步探索图结构和 STGNNs 的联合学习，因为时间序列之间的依赖图是由先验知识手工绘制的，往往存在偏差和错误，在很多情况下甚至是缺失的。总之，时空图神经网络在许多实际应用中的多变量时间序列预测方面取得了重大进展。然而，天下没有免费的午餐。更强大的模型需要更复杂的结构。计算复杂度通常会随着输入时间序列长度的增加而线性或二次增加。再考虑到时间序列的数量（如数百个），STGNNs 要扩展到非常长期的历史时间序列并不容易。事实上，大多数模型都使用小窗口中的历史数据进行预测，例如，使用过去十二个时间步长（一小时）来预测未来十二个时间步长[20, 29, 35, 36, 41]。无法明确地从长期信息中学习会带来一些直观的问题。

首先，STGNN 模型对窗口之外的上下文信息视而不见。考虑到时间序列通常存在噪声，该模型可能难以区分不同背景下的短期时间序列。例如，当观察图 1(b) 所示长度为 12 的两个小窗口内的数据时，我们会发现不同背景下的两个时间序列是相似的。因此，模型很难根据有限的历史数据对它们不同的未来趋势做出准确预测。其次，短期信息对于依赖关系图的建模是不可靠的，而依赖关系图是由时间序列之间的相似性（或相关性）来表示的。如图 1（c）所示，当我们观察小窗口内的数据时，两个时间序列无论是在数量上还是在趋势上都不相似。相反，长期历史时间序列有利于抵抗噪声，从而获得更稳健、更准确的依赖关系。虽然长期历史信息是有益的，但如上所述，STGNNs 直接扩展到非常长期的历史时间序列的成本很高。此外，随着输入序列长度的增加，模型的优化也会出现问题。

图 1：交通流多元时间序列数据示例。(a) 两个时间序列表现出复杂的时间模式和强烈的空间相关性。(b) 不同背景下小窗口内的相似交通趋势。(c) 两个相似序列之间小窗口内的不同交通趋势。

为了应对这些挑战，我们提出了一个新颖的框架，其中 STGNN 由一个可扩展的时间序列预训练模型（STEP）来增强。预训练模型旨在从非常长期的历史时间序列中有效地学习时间模式，并生成分段级表征，其中包含丰富的上下文信息，有利于应对第一个挑战。此外，这些分段（即短期时间序列）的学习表示能够结合整个长期历史时间序列的信息来计算时间序列之间的相关性(怎么整合的，好奇)，从而解决第二个挑战，即依赖图缺失的问题。具体来说，我们设计了一种基于 TransFormer 块[33]的高效时间序列无监督预训练模型（TSFormer），该模型通过掩码自动编码策略[13]进行训练。TSFormer 能有效捕捉数周以上的长期历史数据信息，并生成能正确反映时间序列复杂模式的分段级表示。其次，我们设计了基于 TSFormer 表示的图结构学习器，它可以学习离散依赖图，并利用基于 TSFormer 表示计算的