时空预测登上Nature！25年必将再次爆火！

时空预测是指对未来某个时间点和某个地点的变量进行预测，涉及时间和空间两个维度的数据建模。它不仅需要处理时间动态，还要解决序列之间的空间依赖关系。

今天就这时空预测整理出了11篇论文+开源代码，以下是精选部分论文

需要更多资料可以关注公人人人号：AI科技探寻 

论文1

Learning spatiotemporal dynamics with a pretrained generative model

使用预训练生成模型学习时空动力学

方法：

1. 稀疏传感器辅助的基于分数的生成模型（S3GM）：提出了一种基于分数的生成模型框架，用于从稀疏测量中重建和预测全时空动力学。该模型通过自监督方式预训练，捕捉大量预训练数据的联合分布，然后在生成阶段通过条件采样过程重建全时空动力学。

2. 自监督预训练：在预训练阶段，模型通过学习大量预训练数据的联合分布来隐式编码动态系统的先验物理知识。

3. 条件生成过程：在生成阶段，利用预训练模型和稀疏传感器信息，通过求解随机微分方程（SDE）来引导全时空动力学的生成。

4. 数据稀疏性和噪声处理：模型能够在高数据稀疏性和噪声条件下进行零样本重建和预测，表现出良好的准确性和鲁棒性。

创新点：

1. 零样本重建能力：S3GM能够在训练阶段没有提供测量与其对应全时空动力学配对的情况下，实现零样本重建和预测，表现出优异的泛化能力。

2. 高稀疏性和噪声条件下的性能：在Kuramoto–Sivashinsky动力学和Kolmogorov湍流流等复杂系统中，S3GM在高达64倍的空间下采样率下仍能准确重建时空动力学，且在添加噪声的情况下性能仅略有下降。

3. 广泛的适用性：S3GM不仅适用于合成数据，还能在真实世界的ERA5气候观测和实验室测试的圆柱流动力学中表现出色，显示出其在不同应用场景中的广泛适用性。

4. 鲁棒性和不确定性量化：模型能够提供预测的不确定性量化，增强了其在实际应用中的可靠性。

论文2

Deciphering Spatio-Temporal Graph Forecasting: A Causal Lens and Treatment

解码时空图预测：因果视角与处理

方法：

1. 因果时空图神经网络（CaST）：提出了一种新的框架，通过因果处理来解决时空图预测中的时序分布外问题和动态空间因果关系问题。

2. 结构因果模型（SCM）：构建结构因果模型来解析时空图数据的生成过程，并利用因果工具对模型进行调整。

3. 后门调整：通过解耦块分离输入数据中的环境因素和实体特征，以增强对未见数据的泛化能力。

4. 前门调整和边级卷积：利用前门调整和边级卷积来建模节点之间的动态因果关系，捕捉因果关系的涟漪效应。

创新点：

1. 因果视角的时空图预测：首次将因果推断引入时空图预测任务，通过因果视角解析数据生成过程，提高了预测的准确性和可解释性。

2. 时序分布外问题的处理：通过后门调整有效解决了时序分布外问题，使模型能够在不同时间分布的数据上保持良好的泛化性能。

3. 动态空间因果关系建模：通过前门调整和边级卷积，准确捕捉节点之间的动态因果关系，提高了模型对复杂时空图数据的表示能力。

4. 性能提升：在三个真实世界的数据集上，CaST在均方误差（MAE）和均方根误差（RMSE）上均优于现有的最先进方法，例如在PEMS08数据集上，MAE和RMSE分别降低了约3.4%和4.4%。

   

论文3

DYffusion: A Dynamics-informed Diffusion Model for Spatiotemporal Forecasting

DYffusion：一种用于时空预测的动力学信息扩散模型

方法：

1. 动力学信息扩散模型：提出了一种将数据的时间动态与模型的扩散步骤直接耦合的方法，通过训练一个随机的时间条件插值器和一个预测网络来模拟标准扩散模型的前向和反向过程。

2. 多步和长期预测：DYffusion自然地支持多步和长期预测，允许在推理时进行灵活的连续时间采样轨迹，并能够在性能与加速采样之间进行权衡。

3. 动力学信息扩散过程：通过将扩散过程与动态系统的步骤耦合，减少了模型在内存占用、数据效率和训练所需的扩散步骤数量方面的计算复杂性。

创新点：

1. 多步预测能力：DYffusion在多步预测和长期预测方面表现出色，特别是在复杂动态系统如海表温度、Navier-Stokes流和弹簧网格系统中的概率预测中，与传统高斯噪声扩散模型相比，显著提高了计算效率。

2. 连续时间采样：通过允许在推理时进行连续时间采样，DYffusion能够在不牺牲性能的情况下加速采样过程，例如在海表温度预测中，DYffusion的采样时间比MCVD模型快约5倍，同时保持了较低的预测误差。

3. 理论基础：DYffusion被证明是一个隐式模型，能够学习动态系统的解，其冷采样可以被解释为其欧拉方法解，为扩散模型在时空预测中的应用提供了新的理论解释。

论文4

Taming Local Effects in Graph-based Spatiotemporal Forecasting

在基于图的时空预测中驯服局部效应

方法：

1. 全局与局部结合的模型：提出了一种结合全局模型和局部组件的方法，通过在编码和/或解码层中使用专门针对每个输入时间序列的组件，来捕捉局部效应。

2. 节点嵌入：利用可训练的节点嵌入来分摊局部组件的学习，允许在全局模型中使用单一模块，并根据学习到的局部节点特征进行条件化。

3. 结构化嵌入空间：通过变分推断和聚类损失对嵌入空间进行结构化和正则化，以提高模型的可解释性、可转移性和泛化能力。

创新点：

1. 局部效应的捕捉：通过在全局模型中引入局部组件，显著提高了预测的准确性。例如，在交通预测基准测试中，全局-局部模型比完全全局模型的平均绝对误差（MAE）降低了约10%。

2. 节点嵌入的有效性：使用节点嵌入来分摊局部组件的学习，仅增加了少量的可训练参数，却显著提高了模型性能。例如，在PEMS-BAY数据集上，使用节点嵌入的全局-局部模型比完全全局模型的MAE降低了约15%。

3. 可转移性：通过结构化嵌入空间，提高了模型在新节点集上的可转移性。例如，在交通预测的迁移学习实验中，仅通过调整节点嵌入，模型在新数据集上的性能比完全全局模型提高了约20%。

需要更多资料可以关注公人人人号：AI科技探寻