DBPM: 增强时间序列对比学习：一种动态坏对挖掘方法《Towards Enhancing Time Series Contrastive Learning: A Dynamic Bad Pair M

今天是2024年10月12日，思路枯竭，还是论文看的太少了，继续看论文.

论文：Towards Enhancing Time Series Contrastive Learning: A Dynamic Bad Pair Mining Approach

或者是：Towards Enhancing Time Series Contrastive Learning: A Dynamic Bad Pair Mining Approach

GitHub：https://github.com/lanxiang1017/DynamicBadPairMining_ICLR24

ICLR 2024的论文。

摘要

(现在是10月14日，10:27.)

并非所有正对都有利于时间序列对比学习。在本文中，我们研究了两种会损害通过对比学习获得的时间序列表示质量的坏正对：噪声正对和错误正对。我们观察到，当出现噪声正对时，模型倾向于简单地学习噪声模式（噪声对齐）。同时，当出现错误正对时，模型会浪费大量精力来对齐不具代表性的模式（错误对齐）。为了解决这个问题，我们提出了一种动态坏对挖掘（DBPM）算法，它能在时间序列对比学习中可靠地识别和抑制坏的正对。具体来说，DBPM 利用记忆模块在训练过程中动态跟踪每个正对的训练行为。这样，我们就能根据历史训练行为，在每个时间点识别出潜在的坏正对。识别出的坏对随后会通过转换模块降低权重，从而减轻它们对表征学习过程的负面影响。DBPM 是一种简单的算法，设计成轻量级插件，无需可学习参数，可提高现有先进方法的性能。通过在四个大规模真实时间序列数据集上进行的广泛实验，我们证明了 DBPM 在减轻坏正对的负面影响方面的功效。

1 引言

自监督对比学习在从未标明的时间序列数据中学习有意义的表征，从而提高下游任务（如时间序列分类）的性能方面显示出显著的功效（Oord等人，2018年；Tonekaboni等人，2021年；Eldele等人，2021年；Yèche等人，2021年；Lan等人，2022年；Yue等人，2022年；Yang & Hong，2022年；Zhang等人，2022年b；Ozyurt等人，2023年）。时间序列对比学习的关键概念是捕捉视图（通常由随机数据增强生成）之间共享的有意义的基本信息，从而使学习到的表征在时间序列之间具有区分性。为了实现这一目标，现有的对比方法都遵循一个假设，即来自同一实例（即正对）的增强视图共享有意义的语义信息（Chen 等人，2020；He 等人，2020a；Chen & He，2021a；Wen & Li，2021）。

但是，如果违反了这一假设会发生什么呢？最近的一些研究（Morgado 等人，2021；Chuang 等人，2022）调查了错误视图问题在图像对比学习中的影响。研究发现，当从同一幅图像中生成的两个视图实际上并不共享有意义的信息时（例如，从同一幅图像中剪切出的一对毫不相干的猫狗），对比学习模型的有效性确实会受到影响。换句话说，并非所有的正对图像都有利于对比学习。我们将这一思路延伸到时间序列，研究时间序列对比学习是否也会遇到类似的挑战，并探索什么样的正对会对学习过程不利。具体来说，当把常用的对比学习方法应用到时间序列应用中时，我们观察到两种极端的正对情况，它们违反了假设，从而削弱了学习到的时间序列表示的质量：

噪声正对： 如图 1 (a)所示，这是睡眠-EDF 数据集（Goldberger 等人，2000 年）（脑电信号）中的一个实际例子。当原始信号显示出大量噪声时，就会出现这些正负对，这可能是由于现实世界中数据收集不当造成的。这就会产生噪声对比视图，视图之间的共享信息主要是噪声。在给定的例子中，低电压脑电图受到其他电信号的干扰，如眼球运动产生的眼球电图（EOG），这使得一些指示早期癫痫的微妙脑电图尖峰被噪声淹没。因此，出现了噪声对齐，在这种情况下，模型只是学习噪声模式，而不是真实信号。

 图 1：动机： 在真实世界的时间序列对比学习中发现的两类坏正对： 噪声正对： 原始信号和增强视图中存在过多噪声，导致对比模型主要从噪声中学习模式（即噪声对齐）。错误正对： 由于在增强过程中破坏了重要的时间模式（即原始信号中突出显示的红色部分），增强后的视图不再具有与原始信号相同的语义，从而导致对比模型学习对齐非代表性模式（即错误对齐）。

错误正对： 如图 1 (b)所示，这是一个来自 PTB-XL 数据集（Wagner 等人，2020 年）（心电图信号）的真实例子。由于时间序列的敏感性，数据增强可能会无意中损害原始信号中包含的复杂时间模式，从而产生错误的视图。在本例中，用于诊断心电图异常的室性早搏（红色部分）所显示的独特时间模式在增强后被破坏。因此，增强后的视图不再具有与原始心电图相同的语义，从而导致错误的对齐，即模型学会对齐视图之间共享的非代表性模式。

为了清楚起见，我们将这两种极端情况称为时间序列对比学习中的坏正对问题。一个直观的解决方案是在对比训练过程中抑制坏的正对，然而，在现实世界的数据集中直接识别坏的正对具有挑战性，原因有两个。首先，对于噪声正对，通常无法根据真实世界数据集的信号来测量噪声水平。其次，对于错误正对，如果没有地面实况，我们将无法识别增强视图的语义是否发生了改变。

因此，在这项工作中，我们首先使用模拟数据研究了对比学习模型在存在坏正对的情况下的训练行为。如图 3 所示，我们发现噪声正对在整个训练过程中的损失相对较小。相比之下，错误正对往往会在训练过程中造成较大的损失。

受这些观察结果的启发，我们设计了一种动态坏对挖掘（DBPM）算法。所提出的 DBPM 算法用一个简单的概念来解决坏正对问题：识别和抑制。具体来说，DBPM 的目标是在对比训练中挖掘可靠的坏正对并降低权重。为此，DBPM 首先利用一个记忆模块来跟踪每个对在训练过程中的训练行为。通过记忆模块，我们可以根据潜在坏正对的历史训练行为，在每个时间点动态识别它们，从而使识别更加可靠。此外，我们还设计了一个转换模块，用于估算坏正对的抑制权重。通过这种设计，DBPM 可以在学习过程中可靠地减少坏正对的负面影响，从而提高学习到的表征的质量。

总的来说，这项工作的贡献可以概括为三个方面。首先，据我们所知，这是第一项研究时间序列对比学习中存在的坏正对问题的研究。我们的研究有助于加深对这一尚未被深入探讨的重要问题的理解。其次，我们提出了 DBPM，这是一种简单而有效的算法，设计为轻量级插件，可在对比学习过程中动态处理潜在的坏正对，从而提高学习到的时间序列表示的质量。第三，在四个真实世界的大规模时间序列数据集上进行的广泛实验证明了 DBPM 在提高现有先进方法性能方面的功效。

2 相关工作

2.1 自监督对比学习

对比学习旨在最大化同一实例中不同但相关视图（即正对）之间的一致性，因为它们被假定共享有意义的基本语义（Chen 等，2020；He 等，2020a；Zbontar 等，2021；Grill 等，2020）。通过最小化 InfoNCE 损失（Oord 等人，2018 年），对比模型迫使正对在表征空间中对齐。因此，对比学习的成功很大程度上依赖于视图设计(是的，依赖于代理任务)，而在不合适的视图上进行训练会不利于模型性能的提高（Wang & Qi，2022a；Tian 等人，2020；Wen & Li，2021）。

之前有一些视觉领域的研究探讨了潜在的错误正对问题。RINCE（Chuang 等人，2022 年）通过设计一个对称的 InfoNCE 损失函数来缓解这一问题，该函数对错误视图具有鲁棒性。加权 xID（Morgado 等人，2021 年）则在视听对应学习中对可疑的视听对进行了降权。我们的 DBPM 在以下方面不同于基于图像的解决方案。首先，DBPM 是为时间序列对比学习而设计的，在时间序列对比学习中，不仅会出现错误正对，还会存在噪声正对。处理两种不同类型的坏正对是时间序列数据特有的挑战，也是时间序列数据与图像数据的区别所在。直接从图像数据中调整方法，可能无法有效解决时间序列背景下这些正负对带来的挑战。我们的 DBPM 是根据时间序列数据中这些对的独特特征设计的，因此能够同时处理这两种类型的坏对。此外，DBPM 还能根据坏正对的历史训练行为，以动态的方式识别坏正对，从而更可靠地识别潜在的坏正对。

2.2 时间序列对比学习

最近的一些研究表明，对比学习是时间序列表征学习的一种突出的自监督方法。例如，TSTCC（Eldele et al. BTSF（Yang & Hong，2022 年）提出了一种双线性时谱融合模块，利用时谱密切程度来提高表征的表现力。CoST（Woo 等人，2022 年）应用对比学习来学习用于长序列时间序列预测的分离季节趋势表征。TS2Vec（Yue 等人，2022 年）在增强的上下文视图上利用了分层对比，从而使学习到的每个时间戳的上下文表示具有鲁棒性。TF-C（Zhang 等人，2022b）利用时间频率一致性作为预训练机制，促进数据集之间的知识转移。

2.3 带标签错误的学习

基于对比视图可以相互提供监督信息（Wang et al., 2022），我们将坏正对问题与监督学习中的标签错误问题联系起来。Swayamdipta 等人（2020）、Shen & Sanghavi（2019）的研究表明，与正常数据相比，存在标签错误的数据表现出不同的训练行为。受这些观察结果的启发，我们在时间序列对比学习的背景下，利用模拟数据分析了坏正对的训练行为（如训练过程中的单个对损失及其方差），并进一步设计了 DBPM，以根据观察结果动态处理坏正对。

3 方法

在本节中，我们首先从理论上分析了当前时间序列对比学习在存在坏正对的情况下存在的弊端。然后，我们使用专门制作的模拟数据集来验证我们的假设并研究坏正对的训练行为。接下来，我们将介绍 DBPM 算法，该算法旨在减轻真实世界数据集中潜在坏正对的不利影响。拟议的 DBPM 算法概览见图 2。

图 2：利用 DBPM 进行时间序列对比学习的图解。M 记录了每个正对在训练过程中的训练行为（即 m (i,e) ），并生成一个全局统计量 M e，用于在每个epoch识别潜在的坏正对。DBPM 简单而有效，可以轻松集成到现有框架中以提高其性能（如上橙色框所示）。

3.1 问题定义

我们将原始时间序列表示为 x ∈ R C×K，其中 C 是通道数，K 是时间序列的长度。给定一组时间序列 X，时间序列对比学习的目标是学习一个编码器 G(θ)，将每个 x 从输入空间投射到其表示 r∈R H，其中 H 是表示向量的维度。

我们使用公认的线性评估协议（Chen 等人，2020；Eldele 等人，2021；Yue 等人，2022）来评估学习到的时间序列表示的质量。具体来说，给定训练数据集 X train = {X train ,Y train } 和测试数据集 X test = {X test ,Y test }，首先在训练数据 {X train } 上训练编码器 G(θ)。然后固定 G(θ) 参数，仅用于生成训练表示 R train = {G(X train |θ)} 。然后，使用 {R train ,Y train } 训练线性分类器 F (θ lc )。最后，在测试数据集上使用预定义的指标来评估表示的质量，即 Metric(F(G(X test |θ)|θ lc ),Y test )。

3.2 分析：时间序列对比学习(这部分再多看看，晚上看的，脑子都是晕的)

在此，我们从理论上分析了噪声正对和错误正对会如何影响表征学习过程。为简单起见，我们使用一个简单的基于 InfoNCE 的时间序列对比学习框架（如图 2 中灰色框所示）进行分析。

前言。考虑一个训练时间序列 x i ∈R C×K 在一个有 N 个实例的训练集 X train 中，时间序列对比学习框架首先应用随机数据增强函数 τ (-) 从原始数据中生成两个不同的视图 (u i ,v i )=τ(x i ) （即正对）。然后，时间序列编码器 (r ui ,r vi )=(G(u i |θ),G(v i |θ))将这两个视图投射到表示空间。时间序列编码器的学习目的是通过最小化对比损失（即 InfoNCE）来最大化正对（u i ,v i ）之间的一致性：

其中，s(r u ,r v )=(r u⊤ r v )/∥r u ∥∥r v ∥ 是计算 ℓ 2 归一化表示 r u 和 r v 之间点积的得分函数。(r ui , r v-j) 表示来自不同时间序列的表示（即负对）。t 是温度参数。

噪声对齐。让我们考虑一下噪声正对问题。根据 Wen & Li (2021)，每个输入数据都可以 x i = z i +ξ i 的形式表示，其中 z i ∼ D z 表示真实信号，包含我们希望编码器 G(θ) 学习的期望特征，而 ξ i ∼ D ξ 是杂散密集噪声。我们假设，当 ξ i ≫ z i 时，噪声正对问题很可能发生在 x i 上，因为噪声原始信号在数据增强后会产生噪声视图。形式上，我们将 (u i ,v i ) 定义为当ξ ui ≫ z ui 和ξ vi ≫ z vi 时的噪声正对。此外，我们知道，最小化对比损失等同于最大化两个视图表征之间的互信息（Tian 等人，2020 年）。因此，当存在噪声正对时，arg max θ (I(G(u i |θ); G(v i |θ)))近似为 arg max θ (I(G(ξ ui |θ); G(ξ vi |θ)))。这就导致了噪声对齐，即模型主要从噪声中学习模式。

错误对齐。现在，我们考虑错误正对问题。鉴于时间序列的敏感性，随机数据扩增（如排列、裁剪（Um 等人，2017 年））有可能改变或损害原始时间序列中包含的语义信息，从而产生错误视图。形式上，当 τ (x i )∼D unknown 时，我们将 (u i ,v i ) 定义为故障正对，其中 D unknown ̸=D z。取 L (u i ,v i ) 相对于 r ui 的偏导数（全部推导过程见附录 A.4），得到

公式 2 揭示了增强视图 u i 的表示取决于增强视图 v i 的表示，反之亦然。这就是正对学习中的对齐方式：两个增强视图 u i 和 v i 相互提供监督信号。例如，当 v i 是一个错误的视图时（即 z ui ∼D z ,z vi ∼D unknown ），r vi 就会向 G(θ) 提供一个错误的监督信号来学习 r ui 。在这种情况下，arg max θ (I(r ui ;r vi )) 近似于 arg max θ (I(G(zui |θ); G(z vi |θ))，其中 G(θ) 提取了 u i 和 v i 之间共享的错误或无关信息，从而导致错误的对齐。这一分析也可应用于 u i 是错误视图，或 u i 和 v i 都是错误视图的情况。此外，我们假设来自错误正对的表征往往表现出较低的相似性（即 s(r ui ,r vi ) ↓），因为它们的时间模式是不同的。这意味着编码器会将更大的梯度放在错误正对上，从而加剧了错误的对齐。(为什么错误正对的表征往往表现出较低的相似性？时间模式不同吗？)

3.3 经验证据

我们建立了一个模拟数据集来验证我们的假设，并观察坏正对的训练行为。特别是，我们关注坏正对在不同训练epochs中的训练损失均值和方差。我们在模拟数据集中预先定义了三种类型的正对：正常正对、噪声正对和错误正对。为了模拟噪声正对，我们假设信号的噪声水平取决于其信噪比（SNR）。通过调整信噪比，我们可以生成不同噪声水平的时间序列，从干净（即信噪比大于 1）到极度噪声（即信噪比小于 1）。为了模拟错误正对，我们随机选取一部分数据，改变其时间特征，产生错误的视图。详细的坏正对模拟过程见附录 A.5。

我们的主要观察结果如图 3 所示。我们发现，在整个训练过程中，噪声正对表现出相对较小的损失和方差（绿色群组）。在附录 A.6 中，我们进一步证明了从噪声正对学习到的表征属于潜空间中的一个小区域，这意味着模型会坍缩为一个琐碎的解。这些证据证实了我们关于噪声对齐的假设。它揭示出，与监督学习不同，小的对比损失并不总是意味着模型学习到了有用的模式，而可能只是从噪声中提取了信息。相比之下，错误正对在训练过程中往往伴随着较大的对比损失和较小的方差（橙色群），这意味着错误正对很难对齐。这支持了我们关于错误对齐的假设，即模型花费大量精力试图对齐不相关的模式。

图 3：观察结果： 在训练过程中，噪声正对（绿色簇）表现出相对较小的对比损失，而错误正对（橙色簇）往往有较大的对比损失。

3.4 动态坏对挖掘

基于理论分析和经验观察，我们提出了一种动态坏正对挖掘（DBPM）算法，以减轻坏正对带来的负面影响。DBPM 背后的理念很简单：动态识别并抑制坏正对，以减少其对表征学习过程的影响。

识别。为了识别真实世界数据集中可能存在的坏正对，我们首先使用了一个记忆模块 M 来跟踪每个训练epoch中的个体训练行为。具体来说，M∈R N×E 是一个查找表，其中 N 是训练样本数，E 是最大训练epoch数。对于第 i 个正对（u i ,v i ），M（i,e）在第 e 个训练epoch用其对比损失 L（i,e）更新，对比损失 L（i,e）由公式 1 计算得出。然后，我们取第 e 个训练epoch（e > 1）之前 (u i ,v i ) 的平均训练损失来总结第 i 对正对的历史训练行为：

因此，在第 e 个训练epoch，M 将生成一个全局统计量 M e ={m (i,e) } iN=1 描述所有正对的历史训练行为。获得 M e 后，我们将使用其平均值和标准偏差作为第 e 个训练epoch的全局统计量描述符：

为了识别潜在的坏正对，我们必须确定一个将其与正常正对区分开来的阈值。我们将噪声正对和错误正对的阈值定义为：

在第 e 个训练epoch时，我们会识别出平均历史对比损失 m (i,e) 小于 t np 的噪声正对，而平均历史对比损失 m (i,e) 大于 t fp 的正对则会被识别为错误正对。请注意，β np 和 β fp 是决定阈值的超参数。在实践中，作为一种简单的启发式方法，我们将 β np 和 β fp 设置在 [1, 3] 的范围内，发现效果一般都很好。关于 β np 和 β fp 影响的进一步分析，请参见附录 A.8。这样，我们就能在每个训练epoch根据历史训练行为动态识别潜在的坏正对，进而使识别更加可靠。例如，在整个训练过程中对比损失都很高的一对正对，比仅在几个训练epochs偶尔出现对比损失很高的一对正对更有可能是错误正对。

权重估计。接下来，我们设计一个转换模块 T 来估计每个训练epoch中坏正对的抑制权重。我们将转换模块 T 的权重估算表述为：

其中，1 i 是一个指标，如果第 i 对是坏正对，则设为 1，否则设为 0。T 将第 i 对正对在第 e 个时间点的训练损失映射为权重 w (i,e) ∈ (0, 1)。受经验证据中平均训练损失分布的启发，我们将 T 设为高斯概率密度函数。因此，当第 i 个正对在第 e 个epoch被识别为坏正对时，其对应的权重 w (i,e) 由以下方式估算：

通过使用该函数，我们假设每个epoch的全局统计量 M e 遵循均值为 µ e、方差为 σ 2 e 的正态分布。因此，坏正对的权重是 N ∼ (µ e ,σ 2e ) 的概率密度，它与正对损失近似成正比。这可以确保坏正对得到平稳的权重降低，从而抑制其影响。此外，转换模块还提供了权重估计函数选择的灵活性。关于 DBPM 与其他权重估计函数的性能比较，请参见附录 A.7。

3.5 训练

在 DBPM 中，对比模型是通过重新加权损失来优化的。形式上，在初始热身epochs后，第 i 个正对在第 e 个训练历时的重新加权损失为：

关于使用 DBPM 的对比学习程序算法，请参见附录 A.1。

4 实验

4.1 数据集、任务和基线

(现在是21:51，还差实验部分没看完，明天继续.)