2024深度学习发论文&模型涨点之——时间序列+对比学习
对比学习与时间序列的结合为时间序列数据的表示学习、聚类、预测和分析提供了新的视角和方法，通过不同的数据增强技术和学习框架，可以有效地从原始数据中学习到有用的特征，并提高模型的性能。
近年来，已经有许多对比学习方法被提出，并在实际应用中取得了卓越的成效。尽管对比学习在图像和语言领域非常有效和普遍，但在时间序列数据上的应用相对较少，没有idea的同学可以试试这个方向。
我整理了一些时间序列+对比学习【论文+代码】合集，需要的同学公人人人号【AI创新工场】自取。
论文精选
论文1：
[ICLR]SOFT CONTRASTIVE LEARNING FOR TIME SERIES
时间序列的软对比学习
方法
Soft Contrastive Learning (SoftCLT)：提出了一种新的软对比学习策略，通过引入实例级和时间对比损失以及从零到一的软分配来学习时间序列的表示。
实例级对比损失：通过时间序列在数据空间上的距离定义软分配，对比时间序列实例。
时序对比损失：通过时间戳的差异定义软分配，对比单个时间序列内部的时间戳表示。
软分配：基于时间序列之间的距离和时间戳差异，采用sigmoid函数生成软分配权重。
创新点
软对比学习策略：SoftCLT通过软分配改进了对比学习，解决了硬分配可能忽略时间序列内在相关性的问题，提高了学习表示的质量。
实例级和时序对比损失：实验结果表明，SoftCLT在多种下游任务（包括分类、半监督学习、迁移学习和异常检测）中均提高了性能，例如，在125个UCR数据集和29个UEA数据集上的平均准确率分别提高了2.0%和3.9%。
软分配权重：通过软分配权重，SoftCLT能够更细致地捕捉时间序列数据的相似性和差异性，与硬分配方法相比，这种方法在多个任务中显示出了更好的性能。
论文2：
Contrastive Learning of Asset Embeddings from Financial Time Series
从金融时间序列中对比学习资产嵌入
方法
对比学习框架：提出了一个新的对比学习框架，从金融时间序列数据中生成资产嵌入。
统计抽样策略：基于假设检验的比例测试，生成信息丰富的正负样本，以应对金融数据的噪声和随机性。
对比损失函数：探索了多种对比损失函数，以不同的方式捕捉资产之间的关系，学习区分性表示空间。
创新点
新的对比学习框架：该框架利用资产回报在多个子窗口中的相似性来生成信息丰富的正负样本，显著提高了金融数据中资产嵌入的质量。
统计抽样策略：通过比例假设检验的统计抽样策略，有效地处理了金融数据的噪声和随机性，提高了资产嵌入的鲁棒性和意义。
对比损失函数的探索：通过不同的对比损失函数，学习了一个区分性和信息丰富的表示空间，实验结果在行业分类和投资组合优化任务中均显著优于现有基线。
论文3：
Time Series Contrastive Learning with Information-Aware Augmentations
具有信息感知增强的时间序列对比学习
方法
信息感知增强（InfoTS）：提出了一种新的时间序列对比学习方法，该方法自适应地选择最优增强以进行时间序列表示学习。
元学习网络：使用另一个神经网络（元学习器）来学习增强的先验，并与对比学习一起优化。
信息流分析：基于信息论对数据增强中的信息流进行理论分析，并导出选择理想时间序列增强的标准。
创新点
信息感知增强标准：提出了选择好的数据增强的标准，这些增强应具有高保真度和高多样性，以改善对比表示学习。
自适应数据增强方法：InfoTS能够避免人工选择或繁琐的试错调整，自动为不同的时间序列数据集选择可行的数据增强。
性能提升：在各种数据集上的实验显示，InfoTS在预测任务上的均方误差（MSE）降低了高达12.0%，在分类任务上的准确率相对提高了高达3.7%。
论文4：
Finding Order in Chaos: A Novel Data Augmentation Method for Time Series in Contrastive Learning
在混沌中寻找秩序：一种用于对比学习的时间序列新数据增强方法
方法
定制混合（Tailored Mixup）：提出了一种新的数据增强方法，通过考虑非平稳时间序列的周期性特征，优化对比学习中的样本生成。
基于VAE的样本相似性（VAE-based Sample Similarity）：使用变分自编码器（VAE）在潜在空间中找到语义相似的样本，以控制数据增强的强度。
相位和幅度的分离处理（Separate Handling of Phase and Amplitude）：对相位和幅度信息进行特定的操作，以生成正样本并控制混合系数。
创新点
定制混合：在对比学习中，通过定制混合方法，PrimeNet在三个时间序列任务（心率估计、人类活动识别和心血管疾病检测）中均优于现有方法，平均准确率提升超过5%。
基于VAE的样本相似性：通过在潜在空间中控制样本相似性，PrimeNet能够更有效地生成正样本，提高了特征表示的质量。
相位和幅度的分离处理：通过分别处理相位和幅度信息，PrimeNet避免了混合过程中的破坏性干扰，提高了数据增强的多样性和有效性。
