2024发论文&模型涨点之——小波变换+Transformer
小波变换（Wavelet Transform, WT）和Transformer是两种强大的工具，它们在各自的领域内有着广泛的应用。小波变换是一种数学方法，用于分析信号的时间-频率特性，而Transformer则是一种深度学习模型，主要用于处理序列数据，特别是在自然语言处理（NLP）领域。将两者结合起来，可以创造出一些创新的应用。
将小波变换与 Transformer 结合，可以充分发挥两者的优势。小波变换可以对数据进行预处理，提取出更有效的特征，然后将这些特征输入到 Transformer 中进行进一步的处理和分析，从而提高模型的性能和准确性。
小编整理了一些小波变换+Transformer论文合集，论文原文+开源代码需要的同学关注“AI科研灵感”公号，那边回复“小波变换+Transformer”获取。
论文1：
A Novel Digital Directional Transformer Protection Technique Based on Wavelet Packet
一种基于小波包的新型数字方向性变压器保护技术
方法
变压器保护技术：提出了一种新型的数字变压器保护技术，该技术基于从故障电流信号和故障前电压信号中导出的方向量。
小波包变换：使用小波包变换（WPT）来更细致地表征信号内容，同时考虑时间和频率域。
模拟测试：使用Alternative Transient Program/Electromagnetic Transient Program (ATP/EMTP)模拟11/132-kV变压器连接到132-kV电力系统，验证所提技术。
性能评估：通过比较内部和外部故障、磁化涌流电流以及电流变压器（CTs）的饱和度和比率失配条件下的稳定性和可靠性。
创新点
小波包变换的应用：首次将小波包变换应用于变压器保护领域，提高了故障判别的准确性和速度。
方向性信号的创新：提出了一种新的方向性信号，该信号结合了电压和电流测量，理论上能够识别主要的振荡、脉冲或瞬态特性。
实时特征提取：小波包变换可以实现实时特征提取，因为其计算量小，适合于实时电力系统故障分析。
论文2：
ADAPTIVE WAVELET TRANSFORMER NETWORK FOR 3D SHAPE REPRESENTATION LEARNING自适应小波变换器网络用于3D形状表示学习
方法
多尺度小波分解：研究了在多尺度下将3D形状分解为子带成分的方法，基于多分辨率小波分析原理构建了一个层次分解树。
自适应小波变换器网络（AWT-Net）：提出了AWT-Net，它首先在多个尺度上递归和层次地使用提升方案生成每个点的近似或细节小波系数，然后利用变换器增强原始形状特征。
无监督学习：小波系数可以在没有直接监督的情况下学习，AWT-Net是完全可微分的，并且可以以端到端的方式学习。
性能评估：在3D形状分类和分割基准测试中，AWT-Net展现出了竞争性能。
创新点
自适应小波变换：提出了一种新的自适应小波变换方法，用于在3D形状表示学习中分解形状。
层次分解树：构建了一个基于多分辨率小波分析的层次分解树，为3D形状分析提供了新的视角。
变换器的应用：利用变换器融合不同子带的特征，增强了模型对3D形状的理解能力。
论文3：
Probabilistic Wavelet Transform for Partial Discharge Measurement of Transformer
变压器局部放电测量的概率小波变换
方法
局部放电（PD）测量：提供了一种在线监测和诊断变压器的方法，特别关注了PD信号的提取。
概率小波变换：提出了一种基于分位数的多尺度阈值方法，用于在每个分解水平上提供提取信号是PD信号的可能性指数。
实验验证：在实验PD模型和变电站的在役变压器上进行了PD测量，以评估所提出的方法。
创新点
多尺度阈值方法：提出了一种新的概率小波变换方法，通过多尺度阈值提高了PD信号提取的准确性。
自动母小波选择和分解水平确定：开发了自动选择母小波和确定分解水平的方法，提高了PD信号提取的效率和可靠性。
概率指数计算：为提取的信号计算了概率指数，指示信号是由PD事件产生的可能性，增强了信号解释的置信度。
论文4：
W-Transformers: A Wavelet-based Transformer Framework for Univariate Time Series Forecasting
基于小波的变换器框架在单变量时间序列预测中的应用
方法
时间序列分解：利用最大重叠离散小波变换（MODWT）对时间序列数据进行分解，并在分解数据集上构建局部变换器。
长短期依赖捕捉：通过变换器编码器架构捕捉时间序列中的非平稳性和长短期非线性依赖。
模型框架构建：提出了一种新颖的单变量时间序列表示学习框架，称为W-Transformer，结合了小波变换和变换器模型。
性能评估：在多个公开可用的基准时间序列数据集上评估W-Transformer框架，并与基线预测器进行比较。
创新点
小波变换与变换器的结合：创新性地将小波变换应用于时间序列分解，并将变换器应用于分解后的数据集，以捕捉非平稳性和长短期依赖。
时间序列预测性能提升：W-Transformer框架在短期和长期预测中均显示出比基线预测器更好的性能，即使在训练样本数量有限的数据集上。
模型的泛化能力：证明了W-Transformer框架在不同领域和具有不同特征的时间序列数据集上的泛化能力，特别是在非平稳性和非线性依赖的捕捉上。
标签：Transformer,信号,变换,融合,分解,变换器,PD From： https://blog.csdn.net/YunTM/article/details/143718895