原文：https://arxiv.org/abs/2206.09113
代码：https://github.com/zezhishao/STEP
受模型复杂性的限制，大多数STGNNs只考虑MTS短期历史数据，如过去一小时的数据。然而，时间序列的模式和它们之间的依赖关系(即时间和空间模式)需要基于长期的历史MTS数据进行分析。为了解决这一问题，我们提出了一个新的框架STEP。具体来说，我们设计了一个预训练模型来有效地从非常长的历史时间序列（例如，过去两周）中学习时间模式并生成段级表示。这些表示为 STGNN 的输入的短期时间序列提供上下文信息，并促进时间序列之间的建模依赖关系。
主要贡献：
- 提出了一种新的多变量时间序列预测框架，其中 STGNN 通过预训练模型增强。具体来说，预训练模型生成包含上下文信息的段级表示，以改进下游模型。
- 设计了一个基于Transformer块的时间序列的无监督预训练模型，并通过MAE策略对其进行训练。此外，我们设计了一个图结构学习器来学习依赖图。
- 在三个真实数据集上的实验结果表明，我们的方法可以显著提高下游STGNN的性能，我们的预训练模型恰当地捕获时间模式。
模型结构：
