2024深度学习发论文&模型涨点之——小波变换+注意力机制
小波变换是一种先进的信号分析技术，它擅长捕捉信号的局部特征，但有时可能会忽略数据中的关键信息。为了克服这一局限，我们引入了注意力机制，这一机制能够强化模型对数据重要部分的关注。通过将小波变换与注意力机制相结合，我们能够更全面、更深入地挖掘数据特征，从而显著提升模型的性能和处理复杂数据的能力。
这种结合不仅是技术上的创新，在实际应用中也给我们提供了新的解决思路和方法，效果也十分能打，比如一种新颖的滚动轴承故障分类方法，将一维改进的自注意增强卷积神经网络与经验小波变换相结合，实现了100%的分类准确率。
更多论文原文+开源代码需要的同学关注“AI科研论文” 公号，那边回复“小波变换+注意力机制”获取。
论文1：
Attention-Based CNN Fusion Model for Emotion Recognition During Walking Using Discrete Wavelet Transform on EEG and Inertial Signals
基于注意力机制的CNN融合模型：使用离散小波变换在EEG和惯性信号上进行行走期间情绪识别
方法
数据收集：使用EEG传感器和惯性传感器收集情绪数据，通过虚拟现实头戴式显示器（VR-HMD）设备在行走时激发强烈情绪。
信号处理：采用离散小波变换（DWT）将EEG和惯性信号转换为虚拟情绪图像，作为输入数据。
模型结构：设计了一个简单轻量级的注意力机制CNN融合模型，集成通道注意力机制以提取和增强特征。
融合策略：提出了一种决策融合算法，结合Critic方法和多数投票策略来确定影响最终决策结果的权重值。
性能评估：通过准确率、精确率、召回率和F1分数等指标评估模型性能，并与现有最先进方法进行比较。
添加图片注释，不超过 140 字（可选）
创新点
多模态融合：提出了一种新颖的方法，通过多模态融合和端到端深度学习训练实现行走期间的情绪识别。
特征转换：基于DWT设计了一种简单有效的特征转换方法，将输入信号表示为时频域。
深度特征提取：开发了结合通道注意力机制的CNN结构，自适应强调特征图中的关键部分以实现进一步的特征优化。
决策融合算法：提出了一种新的决策融合算法，使用评估矩阵和Critic方法为预测标签分配权重，并根据多数投票策略获得最终行走情绪预测结果。 
论文2：
Enhanced Wavelet Transform Dynamic Attention Transformer Model For Lithium-ion Battery Anomaly Detection增强小波变换动态注意力变换器模型用于锂离子电池异常检测
方法
数据预处理：针对电池数据的非平稳性和复杂动态特性，提出基于小波变换动态注意力机制的变换器模型（WADT）。
特征提取：利用离散小波变换（DWT）提取电池数据的特征，并计算其频谱能量以评估特征的重要性。
动态注意力权重：基于频谱能量计算每个特征的得分，并使用softmax函数计算动态注意力权重。
特征融合：使用计算出的动态注意力权重对所有特征进行加权融合，以获得加权特征表示。
模型结构：开发了一个深度学习模型，该模型结合了改进的变换器架构，专门处理时间序列数据的复杂动态。
性能评估：在公共电池数据集上进行实验，通过准确度、AUC分数等关键性能指标评估模型的有效性。
创新点
非平稳性处理：提出了一种基于小波变换的动态注意力机制，有效处理电池数据的非平稳性，并捕捉其复杂动态变化。
时间序列分析：通过改进的变换器架构，模型不仅考虑了电池数据的时间依赖性，还适应其非平稳行为，实现更准确可靠的异常检测。
异常检测性能提升：实验结果表明，与现有技术相比，提出的模型在多个关键性能指标上取得了显著改进，验证了方法的创新性和有效性。
论文3：
Motor Fault Diagnosis Algorithm Based on Wavelet and Attention Mechanism
基于小波和注意力机制的电机故障诊断算法
方法
信号分解：使用小波变换对电机振动信号进行分解，去噪高频信号以提高信噪比。
特征融合：将小波分解后的频带和时间维度作为输入数据，使用卷积神经网络（CNN）融合数据的频带特征，使用双向门控循环单元（BGRU）融合时间序列特征。
注意力机制：使用注意力机制自适应地整合不同时间点的特征。
故障诊断：通过分类器识别实现电机故障诊断和预测。
性能评估：与现有的深度学习故障诊断模型相比，该方法具有更高的诊断准确性，并能准确诊断电机的运行状态。
创新点
多模态特征融合：结合了CNN和BGRU来融合时间-频
率信息，提高了电机振动信号的分析能力。
动态加权融合：引入注意力机制模块，动态权衡时间维度上不同时间点的特征，以更准确地预测和诊断电机故障。
实验验证：通过与Case Western Reserve University Bearing Data Center的数据集进行比较，验证了算法的可行性，并在实际电机轴承上进行了现场诊断测试，进一步验证了诊断方法的准确性。
论文4：
WAVEFORMER: LINEAR-TIME ATTENTION WITH FORWARD AND BACKWARD WAVELET TRANSFORM
用于序列学习的线性时间复杂度的Waveformer：前向和后向小波变换
方法
小波变换应用：提出Waveformer模型，通过前向小波变换将输入序列投影到多分辨率正交小波基上，然后在小波系数空间进行非线性变换（例如，随机特征核），最后通过后向小波变换重构输入空间的表示。
非线性变换：在小波系数空间中应用随机特征核等非线性变换，增强模型对序列数据的理解和处理能力。
序列学习范式（WISE）：提出了一种新的学习范式WISE（Wavelet transformatIon for Sequence lEarning），强调了后向重构在WISE范式中的重要性，以确保数学上的合理性。
性能评估：在七个长距离理解数据集和代码理解任务上进行了广泛的实验，评估了Waveformer模型的性能。
创新点
小波变换的优势：相比于傅里叶变换，小波变换在时间复杂度上更高效，并且更好地捕捉局部和位置信息，特别是在处理非平稳信号时。
线性时间复杂度：Waveformer模型只需要线性时间复杂度，即可实现强大的序列到序列函数的近似能力。
WISE范式的普适性：WISE范式可以与各种注意力近似方法结合，提升它们的长距离理解能力，而不增加时间复杂度。
实验验证：通过在Long Range Arena基准测试和代码理解任务上的实验，证明了Waveformer模型的有效性，并支持了WISE范式的优越性。