TEAM: Topological Evolution-aware Framework for Traffic Forecasting–Extended Version

Motivation

为了捕捉复杂的时空动态，许多基于深度学习的方法最近被提出，并由于其学习非线性动力学[35,59]的能力，在挑战数据集上显示出了有希望的结果。这些方法通常建立在图神经网络（GNNs）[16,32]和时间神经网络（TCNs）[24,50]上，分别捕获空间和时间信息。虽然取得了具有竞争力的性能，但这些方法面临着两个挑战。
然而，现有的方法假设输入是固定拓扑道路网和静态交通时间序列。这些假设与城市化不一致，城市化的时间序列被不断收集，道路网络随着时间的推移而演变。在这种情况下，深度学习模型需要频繁的重新初始化和再训练，从而造成了很高的计算成本。

据我们所知，这是第一个能够对不断发展的注册网络进行交通预测的研究。我们有四项贡献。首先，我们提出了在演化的神经网络中的交通预测问题。其次，我们提出了CAST，一个交通预测框架，其中主模型可以使用混合体系结构有效地学习小规模数据。第三，我们提出了一个持续学习模块，使预测模型能够有效地学习进化的rn。然后，我们将该模块集成到CAST中，形成团队。第四，我们报告了广泛的实证研究，这些研究提供了对所提出的框架的相关设计特性的见解，并提供了证据，表明所提出的框架能够优于最先进的方法w.r.t.准确性和运行时。

Challenge

数据更新的问题 （数据冲突 + 数据遗忘）

首先，交通预测是一项长期的任务，由于道路网（RNs）图结构的变化，交通行为可能会随时间发生变化。例如，代表城市的注册护士经常会扩张，以支持城市化造成的人口增长。这将导致新的节点和边被添加到现有的rn中。同时，旧的道路和区域可能会过时，从而消除现有注册网络的节点和边缘。此外，在一些国家，道路经常被封锁，方向经常根据工作日而改变。诸如此类的观察可以解决具有演化拓扑的r网络的流量预测问题
另一种适应不断进化的注册护士的方法是在历史区域上训练一个模型，然后将学习到的知识转移到一个新的模型中，该模型将根据来自更新的注册护士部分的数据进行进一步训练。然而，直接使用已转移的模型面临着两个限制。(i)一个节点的历史和新的时间数据可能不会表现出类似的模式，因为流量数据的演变和表现出数据移动特征[5,55]。传输的模型不能学习历史数据和新数据之间的不一致模式，因此表现出不合格的性能。此外，当RN的拓扑发生变化时，新拓扑对应的流量行为会偏离之前的行为。在这里，被转移的模型捕获的空间依赖关系可能不再合适。（ii）有用的信息，如被转移的模型捕获的稳定模式，可能在转移后被遗忘，而不是被合并的[9]。忘记了稳定模式的模型可能会经历不合格的性能。

增量更新的困难

这段文字描述的挑战主要在于 交通预测模型的高成本和数据规模限制。具体来说：

1. 高成本：构建和维护交通预测模型需要大量资源，特别是在处理大规模数据集时。
2. 小数据集的局限性：在实际应用中，为了降低成本，模型通常只在更新区域进行训练。然而，用于更新模型的数据量通常较小，难以捕捉交通网络的复杂时空依赖关系。
3. 模型的能力不足：现有研究大多关注提高预测精度，缺乏在小规模数据上有效学习复杂非线性时空相关性的能力。

结论：更有效的训练方法应能够 在小数据集上增量式地捕捉动态、复杂的时空相关性。这种方法可以通过知识迁移的方式更新模型，而不必完全重新训练，从而降低训练成本并提升模型在小规模数据上的表现。

结合持续学习 （历史当中最稳定的数据 + 差异最大得数据 + 新的数据）

为了在不危及模型准确性的情况下实现更有效的训练，我们提出了包含卷积和注意力的拓扑进化感知框架（TEAM），用于交通预测。这种机制的组合能够更好地适应新收集的时间序列，同时能够保持从旧时间序列中学到的知识。TEAM具有一个基于瓦瑟斯坦度量的持续学习模块，它作为一个缓冲区，可以识别最稳定和变化最大的网络节点。然后，在整合模型时，只使用与稳定节点相关的数据进行再训练。此外，只使用新节点及其相邻节点的数据以及与变化节点相关的数据来重新训练模型。

我们提出了一个用于交通预测的拓扑进化感知框架（TEAM）来解决上述两个问题。为了解决第一个问题，我们提出了一个采用基于排练的持续学习机制的持续学习模块。该模块作为一个缓冲区工作，并存储有限数量的历史数据样本。然后，该模块被集成到交通预测框架中，当新数据与历史数据相似时，它提供存储的样本，以强制预测模型排练。通过排练，巩固了历史知识，和模式可以减轻遗忘。如果新数据与历史数据不同（即显示分布位移[20]），那么历史知识就不再有用，因此没有必要进行排练。

为了度量历史数据和新数据之间的差异，我们将历史数据和新数据转换为两个直方图，并使用瓦瑟斯坦度量来计算它们的相似性。一些具有高相似性的历史图节点（即最稳定的节点）的有限数量的历史数据样本被选择并存储在缓冲区中。此外，还选择相似性最低的节点（即变化最大的节点），用新数据进行更新。由最稳定的节点、变化最大的节点和新增的节点构造出一个新的邻接矩阵。最后，将缓冲区中的数据和新的邻接矩阵的演化数据作为训练传输模型的输入。所构造的邻接矩阵明显小于整个RN的邻接矩阵。因此，模型训练的复杂性就大大降低了。

为了克服第二个问题，我们提出了一个模型，称为时空卷积注意（CAST），该模型使用一种混合架构，结合了卷积和注意模块用于空间和时间计算。现有的研究表明，卷积和注意力相结合可以使模型学习得更快，更容易收敛，因此模型可以在小规模数据集上很好地工作。杂交卷积和注意力也使模型能够更好地建模动态和非线性的时空相关性。此外，卷积侧重于局部模式，如季节性，变化w.r.t.时间方面，和闭邻居节点w.r.t.空间方面的[42]。相比之下，注意力集中在全球模式上，如趋势w.r.t.时间方面和远邻节点w.r.t.空间方面的[12]。通过结合卷积和注意力，我们的目标是获得一个模型，利用局部和全局模式，以产生更好的精度

方案的深度概括

在这段文字中，提出了两个主要问题，并分别提出了解决方案。具体如下：

问题 1：道路网络（RN）拓扑结构的演变

交通预测是一个长期任务，由于城市化、道路封闭和道路方向变动等原因，交通网络的拓扑结构会随着时间发生变化（例如新节点和边的增加或删除）。现有的预测模型大多假设道路网络是静态的，无法适应这种动态变化。尽管可以通过重新初始化和重新训练模型来应对变化，但这样会导致较高的存储和计算成本。

解决方案：
为了解决这个问题，提出了一个 持续学习模块。该模块使用基于复习的持续学习机制，将部分历史数据样本存储在缓冲区中。当新数据与历史数据相似时，通过复习巩固历史知识，以减轻遗忘的影响；当新数据与历史数据不同（即分布发生变化）时，不进行复习。通过 Wasserstein度量 比较历史和新数据的相似性，挑选出相似度较高（即最稳定的节点）和变化最大的节点，将它们分别存储或更新。此外，使用稳定节点、变化节点和新节点构建新的邻接矩阵，使用缓冲区中的数据和演变后的新数据训练模型。这种方法显著减少了模型训练的复杂性。

问题 2：小规模数据集上的复杂时空依赖学习

在实际应用中，由于训练数据和模型维护的成本较高，模型通常只能在较小的数据集上进行更新。然而，现有的交通预测模型主要集中在大规模数据上的高精度预测，而缺乏在小规模数据集上捕捉复杂非线性时空相关性的能力。

解决方案：
为了解决这个问题，提出了一个名为 CAST（卷积注意力时空模型） 的混合架构模型，结合了卷积和注意力模块来同时处理空间和时间信息。卷积可以捕捉局部模式（如季节性、时间变化以及临近节点），而注意力则能够关注全局模式（如趋势和远邻节点）。通过卷积和注意力的结合，模型可以同时利用局部和全局模式，在小规模数据集上实现更快的学习和收敛，增强对动态、非线性时空依赖的建模能力。

总结

• 问题 1：道路网络拓扑的动态变化

  • 解决方案：设计了基于复习的持续学习模块，通过缓冲历史数据并使用Wasserstein度量来选择稳定和变化节点构建新邻接矩阵，从而降低训练成本并减轻遗忘。

• 问题 2：小规模数据集上复杂时空依赖的学习

  • 解决方案：提出了CAST模型，采用卷积和注意力混合架构来捕捉局部和全局的时空模式，以提高模型在小规模数据集上的表现。