首页 > 其他分享 >顶会新热门:小波变换×Transformer,效率翻倍的AI图像去噪神奇组合

顶会新热门:小波变换×Transformer,效率翻倍的AI图像去噪神奇组合

时间:2024-11-07 15:46:19浏览次数:3  
标签:Transformer PD AI 尺度 图像去噪 变换 信号 变压器

2024深度学习发论文&模型涨点之——小波变换+Transformer

 

小波变换与Transformer的结合主要探讨如何利用小波变换的多尺度特性来增强Transformer在处理信号和图像数据时的表现。具体来说,小波变换能够有效提取信号中的局部特征,并在时间和频率域上提供信息,这对于处理复杂的信号(如图像和音频)非常有用。结合小波变换的Transformer可以在保持相对较低的参数数量的同时,显著扩展感受野。这种参数效率使得模型在处理大规模数据时更加高效,减少了计算成本。提供更好的效率与准确率的平衡。   论文原文+开源代码需要的同学关注“ AI科研论文”公号,那边回复“ 小波变换+Transformer”获取。  

论文1:

  Adaptive Wavelet Transformer Network for 3D Shape Representation Learning 用于3D形状表示学习的自适应小波变换器网络  

方法

  多尺度小波分解:提出了一种新颖的3D形状表示学习方法,通过多尺度小波分解将3D形状分解为子带分量,构建了一个基于多分辨率小波分析的原理性的层次分解树。 自适应小波变换器网络(AWT-Net):首先使用提升方案在多个尺度上递归和层次地生成每个点的近似或细节小波系数,然后利用Transformer增强原始形状特征,通过查询和融合不同但集成的子带特征。 无需直接监督学习:小波系数可以在没有直接监督的情况下学习,AWT-Net是完全可微分的,可以以端到端的方式学习。 性能评估:通过在3D形状分类和分割基准测试上的广泛实验,展示了AWT-Net在性能上的竞争性。   31abf30797664e5596cec83053ae2ece.png 

创新点

  自适应小波变换:提出了一种基于自适应小波变换的方法,用于将3D形状分解为子带分量,这种方法在信号处理中广泛使用,但在3D形状分析中较少探索。 层次分解树:构建了一个基于多尺度小波分解的层次分解树,为网络的可解释性提供了贡献。 Transformer的应用:将Transformer应用于3D形状特征的融合,通过多尺度特征层次结构与Transformer模型结合,提高了形状特征的表达能力。 端到端学习:AWT-Net能够以端到端的方式进行学习,无需手动设计低级形状描述符,而是通过深度学习自动学习高级3D形状表示。  

论文2:

  Feature extraction of power transformer vibration signals based on empirical wavelet transform and multiscale entropy基于经验小波变换和多尺度熵的电力变压器振动信号特征提取​  

方法

  经验小波变换(EWT):提出了一种基于EWT和多尺度熵(MSE)的电力变压器振动信号特征提取方法,通过EWT将变压器振动信号分解为多个经验小波函数(EWFs)。 时频表示:对每个EWF分量应用Hilbert变换,通过时频表示展示信号的频率特性。 多尺度熵(MSE)计算:计算与原始信号高度相关的分量的MSE,构建变压器振动信号的特征向量。 实验验证:通过多个实验展示了该方法与经典经验模态分解方法相比的有效性。 b320fe025c16422386baf42b0c372360.png 

创新点

  EWT与MSE的结合:首次将EWT和MSE结合用于变压器振动信号的特征提取,提高了特征提取的准确性和效率。 特征向量的构建:通过计算与原始信号高度相关的EWF分量的MSE,构建了变压器振动信号的特征向量,为信号的量化提供了新的方法。 非平稳信号处理:针对变压器振动信号这类非平稳信号,提出了一种有效的特征提取方法,解决了傅里叶变换在处理非平稳信号时的局限性。 多尺度复杂特征的表示:MSE能够提取不同尺度上的样本熵,更好地表示变压器振动信号的多尺度复杂特征。  

论文3:

  Probabilistic Wavelet Transform for Partial Discharge Measurement of Transformer 用于变压器局部放电测量的概率小波变换  

方法

  概率小波变换:提出了一种用于变压器局部放电(PD)测量的概率小波变换方法,通过量化的方法在每个分解水平提供提取信号可能是PD信号的概率指数。 多尺度阈值确定:提出了基于分位数的多尺度阈值方法,以解决传统单阈值小波变换在PD信号提取中的局限性。 自动母小波选择和分解水平确定:开发了基于概率指数的自动母小波选择和分解水平确定方法,以提取PD信号。 实验验证:通过在实验PD模型和变电站的在役变压器上进行PD测量来评估所提出的方法。 2d8d44a68afa4d76a7e464d510a9788e.png 

创新点

  多尺度阈值方法:提出了一种新的多尺度阈值方法,提高了小波变换在分离PD信号和噪声中的能力,特别是在在线PD测量中。 概率指数的计算:计算了提取信号的概率指数,为信号是否由PD事件生成提供了量化的指示,增强了信号处理的可靠性。 自动化方法:开发了自动化的方法来选择最佳的母小波和确定分解水平,减少了人为因素对PD信号提取的影响,提高了效率和准确性。  

论文4:

  Transformer differential protection using wavelet transform 变压器差动保护的基于小波变换  

方法

  特征提取与选择:提出了一种结合最小描述长度准则(MDL)和熵方法的级联方法,以及人工神经网络(ANN)作为变压器差动保护中基于小波包变换的特征提取和选择工具。 数据集使用:通过PSCAD/EMTDC软件模拟不同的变压器工作条件,包括正常、过励磁、磁化涌流、同情涌流和内部故障等,生成训练和测试信号。 模型训练:使用前馈多层感知器ANN,通过反向传播算法评估所提出的最优特征向量,并与其他常用特征进行效率比较。 性能评估:通过ANN分类器对变压器磁化涌流和内部故障差动电流以及终端故障产生的差动电流进行测试,验证所提出算法的有效性。 584d6f5af98b4e1c8a91827ae247df6d.png 

创新点

  最优特征选择:首次将MDL和熵方法应用于最优母小波和分解级别的选择,并在特征向量中实现降维,以减少智能监控系统中的冗余效应。 神经网络与小波变换的结合:提出了一种新颖的优化神经小波技术方案,包括基于小波的变压器差动电流的新型选择算法,提高了分类器的性能。 实际应用考虑:在模拟中考虑了CT饱和概念和Jiles-Atherton建模技术,确保所提出的保护技术在实际应用中的有效性,包括在变压器两侧的CT饱和情况下。

标签:Transformer,PD,AI,尺度,图像去噪,变换,信号,变压器
From: https://blog.csdn.net/YunTM/article/details/143597360

相关文章

  • 78_api_intro_weather_airquality
    全国实时空气质量指数API数据接口全国主要城市空气质量,极速响应数据,全国主要城市数据。1.产品功能全国主要城市空气质量数据;多负载响应节点,毫秒级响应性能;包含主要污染物信息数据;数据持续更新与维护;全接口支持HTTPS(TLSv1.0/v1.1/v1.2/v1.3);全面兼容AppleATS......
  • 69_api_intro_text_coupletai
    人工智能对联生成API数据接口基于百万数据训练,AI训练与应答,多结果返回。1.产品功能AI基于百万历史对联数据训练应答模型;机器学习持续训练学习;一个上联可返回多个下联应答;毫秒级响应性能;数据持续更新与维护;全接口支持HTTPS(TLSv1.0/v1.1/v1.2/v1.3);全面兼容......
  • AI预测足球比赛结果基于深度数据分析与机器学习SoccerPredictor
    在科技日新月异的今天,人工智能已经渗透到我们生活的方方面面,从智能家居到自动驾驶汽车,从虚拟助手到医疗诊断。而现在,AI甚至开始涉足体育领域,尤其是在预测足球比赛结果这一领域展现出了惊人的能力。那么,AI是如何做到预测足球比赛结果的呢?让我们一起揭开这项技术的神秘面纱。......
  • AI智能分析视频分析网关室内消防逃生通道占用检测算法详解
    在公共安全领域,特别是在火灾等紧急状况下,确保消防逃生通道的畅通对于快速疏散人群至关重要。但是,由于多种原因,这些逃生通道常常被堵塞或占用,极大地增加了疏散时的风险。为了应对这一挑战,人工智能驱动的室内消防逃生通道占用视频分析网关应运而生,成为提高消防安全水平的关键工具。......
  • 【论文精读】BERT: Pre-training of Deep Bidirectional Transformers for Language U
    【论文精读】BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding作者:JacobDevlin,Ming-WeiChang,KentonLee,KristinaToutanova发表会议:NAACL2019论文地址:arXiv:1810.04805BERT是近年来NLP领域影响最大的模型。在CV领域,很早......
  • AI人工智能学习-Day2
    人工智能应用范畴脑科学认知科学心理学语言学逻辑学哲学计算机科学人工智能包含领域机器学习MachineLearning数据挖掘Databases模式识别神经计算NeurocompatingAI、机器学习、深度学习的关系人工智能包含机器学习,机器......
  • 真没想到!盘点5款可以写作的AI工具网站
    在当今快速发展的科技时代,人工智能(AI)技术在各个领域都展现出了巨大的潜力。尤其是在写作领域,AI工具的应用已经变得越来越普遍。本文将盘点五款可以写作的AI工具网站,并特别推荐万象写作-Mixpaper,帮助读者更好地了解这些工具的功能和优势。1.万象写作-Mixpaper万象写作-Mixpap......
  • 如何用AI写作软件写一篇能过查重的论文
    在学术论文写作中,查重是一个让许多学生头疼的问题。如何在提高写作效率的同时保证论文的原创性,是每个学子都关心的课题。今天,我们将探讨如何使用万象AI论文写作软件,帮助你轻松写出一篇能过查重的论文。一、万象AI论文写作软件的优势首先,万象AI写作软件具备强大的智能写作功......
  • Prometheus Alert Manager -- Difference between group_wait, group_interval, and r
    Definitiongroup_interval:group_interval dictateshowlongtowaitbeforesendingnotificationsaboutnewalertsthatareaddedtoagroupofalertsthathavebeenalertedonbefore。repeat_interval:IfthereisnothingchangeintheAlertGroup......
  • 高薪AI职位的痛,1186万应届生最懂!!
    前言开设AI专业容易,培养人才不易2024年秋招,已临近收尾。近年来,高校毕业生的数量呈现逐年增长的势态,预计2025年应届生高达1186万人,再刷历史新高。这意味着,求职竞争愈发激烈。需要注意的是,虽然多地放宽应届生身份认定标准,近2至3年内毕业的高校生都算,但多数公司的橄榄枝依......