首页 > 其他分享 >改进图卷积+informer时间序列预测代码

改进图卷积+informer时间序列预测代码

时间:2024-11-11 14:20:17浏览次数:3  
标签:预测 CTR 卷积 拓扑 序列 informer Informer

本代码尝试将它转移用到时间序列中,创新思维的三维转二维,利用部分卷积进行特征提取,将提取的结果放入informer或者tranformer进行预测,预测还不错(适用的领域效果比二维差一点,但是这个思路用的人几乎没有人用!创新点很强)同时证实了引入图卷积的可行性。

1.informer

Informer 是一种用于时间序列预测的深度学习模型,特别适用于长序列的时间序列数据。它是基于 Transformer 结构的一种改进,主要解决了传统 Transformer 在处理长序列时计算复杂度高的问题。

1.1Informer 的关键机制

  1. 稀疏自注意力机制(ProbSparse Attention)

    • 传统的 Transformer 使用全局自注意力机制,即对于输入的每个时间步,它都计算与其他所有时间步的相似性。这种方法的计算复杂度是,当序列很长时,这种计算开销是巨大的。
    • Informer 提出了稀疏自注意力机制,选择性地关注最重要的时间步,具体来说,它通过概率稀疏抽样方法,仅计算具有较大贡献的自注意力分数,减少了无用计算。
  2. 因子分解编码器(Distilling Operation)

    • Informer 在编码器中引入了多层的因子分解模块,通过每层编码器对序列信息的稀疏化处理,逐步提取关键特征。这一机制能够显著减少冗余信息,进一步降低计算复杂度。
  3. 多头自回归生成(Autoformer-like Output Layer)

    • 在解码器部分,Informer 借鉴了 Autoformer 的思想,通过多头自回归生成的方式,逐步预测未来的时间步。它在解码过程中利用先前预测的值来预测下一个时间步,从而逐步生成整个序列。
  4. 长尾预测能力

    • Informer 针对长尾分布的时间序列数据进行了优化,使得模型在处理分布不均衡的数据时表现更加稳定。通过稀疏机制和因子分解编码器,Informer 能够更好地捕捉到长尾分布中的关键特征。

1.2优势

Informer 的这些创新使得它在处理长序列时间序列数据时具有更高的效率和准确性。它适用于各种实际应用场景,如风电、光伏发电预测、交通流量预测等。

2.改进图卷积

  图卷积网络 (GCN) 在基于骨骼的动作识别中得到了广泛的应用并取得了显著的成果。在 GCN 中,图拓扑在特征聚合中占主导地位,因此是提取代表性特征的关键。在这项工作中,我们提出了一种新的通道拓扑细化图卷积 (CTR-GC),以动态学习不同的拓扑结构,并有效地聚合不同通道中的关节特征,以进行基于骨骼的动作识别。所提出的 CTR-GC 通过将共享拓扑学习为所有通道的通用先验,并使用每个通道的通道特定相关性对其进行优化,对通道拓扑进行建模。我们的细化方法引入了很少的额外参数,并显著降低了对通道拓扑进行建模的难度。此外,通过将图卷积重新表述为统一形式,我们发现 CTR-GC 放松了对图卷积的严格约束,从而获得了更强的表示能力。将 CTR-GC 与时间建模模块相结合,我们开发了一个名为 CTR-GCN 的强大图卷积网络,由图像迁移到时间序列创新点很足。目前很多一区二区的思路都是用这种。

论文原文:https://ieeexplore.ieee.org/document/9710007

3.实验结果

                         

4.完整源码及其讲解视频

https://space.bilibili.com/51422950?spm_id_from=333.1007.0.0

标签:预测,CTR,卷积,拓扑,序列,informer,Informer
From: https://blog.csdn.net/lxh1244607107/article/details/143683503

相关文章

  • 7-35 求给定精度的简单交错序列部分和
    本题要求编写程序,计算序列部分和1-1/4+1/7-1/10+...直到最后一项的绝对值不大于给定精度eps。输入格式:输入在一行中给出一个正实数eps。输出格式:在一行中按照“sum=S”的格式输出部分和的值S,精确到小数点后六位。题目保证计算结果不超过双精度范围。输入样......
  • (代码随想录)leetcode300. 最长递增子序列
    自己还是写不出来[笑哭]思路错了,自己死要去只遍历一遍代码随想录答案:classSolution{public:intlengthOfLIS(vector<int>&nums){if(nums.size()<=1)returnnums.size();vector<int>dp(nums.size(),1);//所有元素都是1长度//dp[i]......
  • 基于卷积神经网络的车辆损坏部位检测系统带gui
    项目源码获取方式见文章末尾!600多个深度学习项目资料,快来加入社群一起学习吧。《------往期经典推荐------》项目名称1.【基于CNN-RNN的影像报告生成】2.【卫星图像道路检测DeepLabV3Plus模型】3.【GAN模型实现二次元头像生成】4.【CNN模型实现mnist手写数字识别】......
  • 最长的递增子序列--动态规划、递归
    问题简述对于一个数组,计算其中最长的递增子序列的长度,并输出。主要思路如下:代码中提供了三种不同的实现方法:纯递归、递归+动态规划(记忆化),以及纯动态规划(迭代)。下面是每种方法的主要思路:1.纯递归实现(dp方法)这个方法尝试通过递归找到以每个元素结尾的最长递增子序列的长度......
  • DAY109代码审计-PHP模型开发篇&动态调试&反序列化&变量覆盖&TP框架&原生POP链
    知识点1、PHP审计-动态调试-变量覆盖2、PHP审计-动态调试-原生反序列化3、PHP审计-动态调试-框架反序列化PHP常见漏洞关键字SQL注入:selectinsertupdate deletemysql_querymysqli等文件上传:$_FILES,type="file",上传,move_uploaded_file()等XSS跨站:printprint_r......
  • LeNet-5卷积神经网络的实现与改进-实验报告
    摘要在本次实验中,我实现了LeNet-5卷积神经网络模型的构建与训练,以实现图像分类任务。主模型采用Pytorch框架搭建,模型识别准确率达到了87%,体现了较好的分类效果。除此之外,我还尝试使用C++实现模型的底层核心操作,包括卷积、池化及全连接等,但最终准确率较低,未达预期。此外,为进一步拓......
  • 从0开始深度学习(27)——卷积神经网络(LeNet)
    1LeNet神经网络LeNet是最早的卷积神经网络之一,由YannLeCun等人在1990年代提出,并以其名字命名。最初,LeNet被设计用于手写数字识别,最著名的应用是在美国的邮政系统中识别手写邮政编码。LeNet架构的成功证明了卷积神经网络在解决实际问题中的有效性,为后续更复杂、更强大的CN......
  • 动态规划-古生物DNA序列血缘分析
    问题描述DNA是由A、C、G、T四种核苷酸组成,例如AAAGTCTGAC,假定自然环境下DNA发生异变的情况有:基因缺失一个核苷酸基因新增一个核苷酸基因替换一个核苷酸且发生概率相同。古生物学家Sam得到了若干条相似DNA序列,Sam认为一个DNA序列向另外一个DNA序列转变所需的......
  • 【CNN-GRU-Attention】基于卷积神经网络和门控循环单元网络结合注意力机制的多变量回
    ......
  • 力扣(LeetCode)106. 从中序与后序遍历序列构造二叉树
    一、目标  给定两个整数数组 inorder 和 postorder ,其中 inorder 是二叉树的中序遍历, postorder 是同一棵树的后序遍历,请你构造并返回这颗 二叉树 。二、代码分析总体代码:/***Definitionforabinarytreenode.*publicclassTreeNode{*int......