首页 > 其他分享 >iTransformer时序模型改进——基于SENet和TCN的倒置Transformer,性能暴涨

iTransformer时序模型改进——基于SENet和TCN的倒置Transformer,性能暴涨

时间:2024-08-25 08:54:01浏览次数:13  
标签:SENet Transformer iTransformer TCN https DCT 注意力 通道

1数据集介绍

ETT(电变压器温度):由两个小时级数据集(ETTh)和两个 15 分钟级数据集(ETTm)组成。它们中的每一个都包含 2016 年 7 月至 2018 年 7 月的七种石油和电力变压器的负载特征。

  数据集链接:

https://drive.google.com/drive/folders/1ZOYpTUa82_jCcxIdTmyr0LXQfvaM9vIy

参考文献:

[1]https://arxiv.org/pdf/2212.01209v1

[2]https://arxiv.org/pdf/1803.01271

[3]https://arxiv.org/pdf/2310.06625

2 处理方法

(1)方法

通过融合离散余弦变换(DCT)、通道注意力机制(SENet)与时间卷积网络(TCN),实现了对时间序列数据的高效多维特征提取。在此框架中,DCT专注于频域特征的捕捉,而通道注意力机制则进一步强化了对关键特征的识别与选择。TCN则利用其在时间序列建模方面的优势,确保了模型对时间依赖性的精确捕捉。这种三者结合的方法不仅发挥了各自的长处,还显著提升了特征提取的整体效果。最终,将这些经过优化的特征输入到iTransformer网络进行进一步处理,不仅能够显著提高预测的准确性,同时也提高了预测过程的效率。

· 通道注意力:通道注意力机制增强关键特征。在频率域中建模通道间的相互依赖性,自适应地为不同通道的频率分量分配权重。

· DCT的使用:DCT负责频域特征提取。使用DCT代替FT来避免因周期性问题导致的Gibbs现象,从而减少高频噪声,并更有效地捕获时间序列的频率信息。

· TCN的使用:时域卷积网络TCN负责时间序列建模,

·iTransformer:经过DCT、通道注意力机制和TCN处理后的特征输入到iTransformer网络,进一步提高预测的准确性和效率。

(2)实验结果

引用论文[3]中的对比方法,MSE和MAE值越小越好

训练集、验证集和测试集划分设置为6:2:2

改进方法ETTm1数据集

3 代码下载

iTransformer时序模型改进——基于SENet和TCN的倒置Transformer,性能暴涨!

最后:

小编会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner,gui设计、simulink仿真......希望能帮到你!

标签:SENet,Transformer,iTransformer,TCN,https,DCT,注意力,通道
From: https://blog.csdn.net/qq_41301570/article/details/141519313

相关文章

  • vit和swin transformer的区别
    ViTvsSwinTransformerViT和SwinTransformer的区别1.架构设计ViT(VisionTransformer):ViT直接将图像分割成固定大小的非重叠小块(patches),然后将每个小块展开成一个向量,并将这些向量序列作为输入送入标准的Transformer架构中。每个小块会被映射到一个高维特征空间,然......
  • Spark MLlib 特征工程系列—特征转换SQLTransformer
    SparkMLlib特征工程系列—特征转换SQLTransformer1.什么是SQLTransformerSQLTransformer是Spark提供的一个特征转换工具,它允许你通过SQL查询来对数据进行灵活的转换。使用SQLTransformer,你可以直接在DataFrame上编写SQL语句,进行特征工程或数据预处理。这种......
  • informer+TCN+通道注意力机制+SSA时间序列模型预测
    1.informerInformer是一种用于时间序列预测的深度学习模型,特别适用于长序列的时间序列数据。它是基于Transformer结构的一种改进,主要解决了传统Transformer在处理长序列时计算复杂度高的问题。1.1Informer的关键机制稀疏自注意力机制(ProbSparseAttention):传统的Tra......
  • 回归预测|基于NGO-TCN-BiGRU-Attention的数据预测Matlab程序 多特征输入单输出 含基础
    回归预测|基于NGO-TCN-BiGRU-Attention的数据预测Matlab程序多特征输入单输出含基础模型文章目录前言回归预测|基于NGO-TCN-BiGRU-Attention的数据预测Matlab程序多特征输入单输出含基础模型一、NGO-TCN-BiGRU-Attention模型NGO-TCN-BiGRU-Attention模型详细流......
  • 力压Transformer,详解Mamba和状态空间模型
    大家好,大型语言模型(LLMs)之所以能够在语言理解与生成上取得巨大成功,Transformer架构是其强大的支撑。从开源的Mistral,到OpenAI开发的闭源模型ChatGPT,都采用了这一架构。然而技术的探索从未止步,为进一步提升LLMs的性能,学界正在研发能够超越Transformer的新架构。其中,Mamba模型以......
  • SLAB:华为开源,通过线性注意力和PRepBN提升Transformer效率 | ICML 2024
    论文提出了包括渐进重参数化批归一化和简化线性注意力在内的新策略,以获取高效的Transformer架构。在训练过程中逐步将LayerNorm替换为重参数化批归一化,以实现无损准确率,同时在推理阶段利用BatchNorm的高效优势。此外,论文设计了一种简化的线性注意力机制,其在计算成本较低的情况下......
  • Transformer模型和RNN模型有什么区别
    关注我,持续分享逻辑思维&管理思维&面试题;可提供大厂面试辅导、及定制化求职/在职/管理/架构辅导;推荐专栏《10天学会使用asp.net编程AI大模型》,目前已完成所有内容。一顿烧烤不到的费用,让人能紧跟时代的浪潮。从普通网站,到公众号、小程序,再到AI大模型网站。干货满满。学成后可......
  • ViT 原理解析 (Transformers for Image Recognition at Scale)
    ViT原理解析(TransformersforImageRecognitionatScale)原创 小白 小白研究室 2024年06月10日21:09 北京如何将transformer应用到图像领域Transformer模型最开始是用于自然语言处理(NLP)领域的,NLP主要处理的是文本、句子、段落等,即序列数据。视觉领域处理的......
  • [Paper Reading] Reconstructing Hands in 3D with Transformers
    名称ReconstructingHandsin3DwithTransformers时间:CVPR2024机构:UCBerkeley,UniversityofMichigan,NewYorkUniversityTL;DR本文提出一种使用Transformer来做HandTracking的算法名为HaMeR(HandMeshRecorvery),优势是大数据规模(利用多数据集的2D/3D标签),大模型(......
  • 【目标检测】Transformers在小目标检测中的应用:最新技术的基准测试和调查
    《TransformersinSmallObjectDetection:ABenchmarkandSurveyofState-of-the-Art》Transformers在小目标检测中的应用:最新技术的基准测试和调查原文:https://arxiv.org/abs/2309.049021研究背景和目的小目标检测(SOD)对现有目标检测方法具有挑战性,而Transformer......