- 2024-11-06Transformer大模型加速简介(3)-InFormer
Transformer模型,即《AttentionisAllyourNeed》这一大作自从被提出以来,已经成为自然语言处理(NLP)和计算机视觉等领域的核心架构(详见https://blog.csdn.net/burstone/article/details/143135395)。然而,由于其对计算和存储的高要求,对于长序列的处理存在很大的性能开销。本
- 2024-10-12K8S控制器理解-摘录自《云原生操作系统Kubernetes》
摘录自罗建龙等著的《云原生操作系统Kubernetes》,详细了解请查看原著。虽然控制器是Kubernetes比较复杂的组件,但是控制器这个概念本身,对我们来说并不陌生。我们生活中使用的洗衣机、冰箱、空调等,都要有控制器才能正常工作。以下我们通过思考一个简易冰箱的设计过程,来理解Kuber
- 2024-09-24Informer模型复现项目实战
加入会员社群,免费获取本项目数据集和代码:点击进入>>1.项目简介A034-Informer模型复现项目实战的目标是通过复现Informer模型,帮助理解其在时间序列预测中的实际应用和效果。该项目基于深度学习模型Informer,这是一种针对长序列时间序列预测而优化的Transformer变种。相较
- 2024-09-09kubectl命令来查看操作对应的api
Controller作为k8s的资源控制组件,必定要实时地监控对比资源的目标状态和当前状态,这其中会与apiserver产生大量的交互。在k8s中,k8s各个组件都会与apiServer交互,因此k8s在项目中封装了一个client-go公用模块,路径位于项目vendor/k8s.io/client-go,非常多的组件向ApiServer的curd操作都
- 2024-08-23informer+TCN+通道注意力机制+SSA时间序列模型预测
1.informerInformer是一种用于时间序列预测的深度学习模型,特别适用于长序列的时间序列数据。它是基于Transformer结构的一种改进,主要解决了传统Transformer在处理长序列时计算复杂度高的问题。1.1Informer的关键机制稀疏自注意力机制(ProbSparseAttention):传统的Tra
- 2024-08-22Kubernetes: client-go 源码剖析(一)
kubernetes:client-go 系列文章:Kubernetes:client-go源码剖析(一)Kubernetes:client-go源码剖析(二)0.前言在看 kube-scheduler 组件的过程中遇到了 kube-scheduler 对于 client-go 的调用,泛泛的理解调用过程总有种隔靴搔痒的感觉,于是调转头先把 client-go 理清楚
- 2024-08-07Informer复现 -- 训练及吃瓜
想吃瓜的同学,直接往后看训练经过几次博文,Informer的模型已经完全复现了。接下来就是通过训练验证复现的模型是否可行。优化器optimizer用Adam,评价标准criterion用MSELoss(),学习率设置为1e-3,学习率衰减采用CosineLRScheduler(timm.scheduler.cosine_lr),预热5个epoch。batch_
- 2024-08-07Informer复现--模型之Attention
目录原始Attention:卷王Informer:拒绝躺平Informer龙场悟道: K 也要选一选到底选多少个:少量;些许;一些代码复现:talkischeapAttention:原代码中是FullAttentionProbAttention复现第一步:计算$u$和$U$第二步:随机选取少量K第三步:计算pre-attention第四步:得到用来选少
- 2024-07-06Kubernetes client-go源码走读
Informer机制Kubernetes使用Informer代替Controller去访问APIServer,Controller的所有操作都和Informer进行交互,而Informer并不会每次都去访问APIServer。Informer使用ListAndWatch的机制,在Informer首次启动时,会调用LISTAPI获取所有最新版本的资源对象,然后再通过WATCH
- 2024-06-06Informer复现+实现自己的数据集
笔记简介笔记:记录一下实现Informer时序预测的过程,同时加注一些要点,并加上构建自己数据集进行预测的过程。内容:1、Informer论文解读、复现2、构建自己的数据集3、利用Informer对数据集进行预测一、Informer论文摘要:许多实际应用需要长序列时间序列的预测,例如电力消耗计
- 2024-05-17kubernetes DeploymentController 源码解析
DeploymentController对象从 NewDeploymentController方法开始创建,我们首先看这个方法1//NewDeploymentControllercreatesanewDeploymentController.2funcNewDeploymentController(ctxcontext.Context,dInformerappsinformers.DeploymentInformer,rsInformer
- 2024-04-04k8s informer resync机制
informerFactory创建informerinformer一般由informerFactory创建(支持直接创建informer,一般不这么做),informerFactory支持创建多种资源类型的informer,同一个informerFactory中同一种资源类型只创建一个informer。DeltaFIFOqueue里面保存了KeyOf函数计算得到的存储资源对象的key
- 2024-03-12【论文阅读】Informer Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
原始题目:Informer:BeyondEfficientTransformerforLongSequenceTime-SeriesForecasting中文翻译:Informer:超越有效变换器进行长序列时间序列预测发表时间:2021-05-18平台:ProceedingsoftheAAAIConferenceonArtificialIntelligence文章链接:https://ojs.aaai.org/i
- 2024-02-04informer增加过滤标签
labelOptions:=informers.WithTweakListOptions(func(opts*metav1.ListOptions){ opts.LabelSelector="a=b"})informerFactory:=informers.NewSharedInformerFactoryWithOptions(kubeClient,0,labelOptions)hasSynced:=informerFactory.Core().V1()
- 2024-01-30informer cache自定义索引
informercache默认通过namespace/name作为key把对象保存到map中。条件查询时一般通过labels.Selector来过滤,但这需要遍历所有元素,informercache可以类似于MySQL那样建立索引,来提高查询速度。//map根据指定的key来给对象分类//IndexFuncknowshowtocomputethesetofind
- 2023-12-1612月16日总结
在看kube-scheduler组件的过程中遇到了kube-scheduler对于client-go的调用,泛泛的理解调用过程总有种隔靴搔痒的感觉,于是调转头先把client-go理清楚在回来看kube-scheduler。为什么要看client-go,并且要深入到原理,源码层面去看。很简单,因为它很重要。重要在两方面:kubern
- 2023-12-16Kubernetes: client-go 源码剖析(一)
0.前言在看kube-scheduler组件的过程中遇到了kube-scheduler对于client-go的调用,泛泛的理解调用过程总有种隔靴搔痒的感觉,于是调转头先把client-go理清楚在回来看kube-scheduler。为什么要看client-go,并且要深入到原理,源码层面去看。很简单,因为它很重要。重要在两方
- 2023-10-15kubernetes client-go 避坑
原文链接:https://www.cnblogs.com/gaorong/p/16939111.htmlinformercache中的数据是只读的,任何修改都先deepcopyinformercache中的数据是只读的,任何修改都应该先deepcopy出来,然后提交apiserver,利用apiserverinformerevent重新同步回cache中。如果直接修改cache中的数据
- 2023-09-21如何将 Transformer 应用于时间序列模型
在机器学习的广阔前景中,transformers就像建筑奇迹一样高高耸立,以其复杂的设计和捕获复杂关系的能力重塑了我们处理和理解大量数据的方式。自2017年创建第一个Transformer以来,Transformer类型呈爆炸式增长,其中包括ChatGPT和DALL-E等强大的生成式AI模型。虽然transform
- 2023-09-08Paper: Informer
Informer时间序列模型1Introduction3significantlimitationsinLSTFLSTF(Longsequencetime-seriesforecasting)Thequadraticcomputationofself-attention.Theatomoperationofself-attentionmechanism,namelycanonicaldot-product,causesthetimecom
- 2023-09-07Informer模型学习记录
Informer时间序列模型data1.WTH.csv水厂csv格式数据,总共13列,包含一列标签,12列特征,后面输入模型维度:12每隔一小时一条记录每个时间点对应多个特征,最后一个数据值作为数据标签2.ECL.csvcsv格式数据3.data_loadercols=list(df_raw.columns);cols.re
- 2023-08-21kube-scheduler 启动分析
先看一段kubernetesscheduler的描述:TheKubernetesschedulerisacontrolplaneprocesswhichassignsPodstoNodes.TheschedulerdetermineswhichNodesarevalidplacementsforeachPodintheschedulingqueueaccordingtoconstraintsandavailableresou
- 2023-02-26client-go核心组件Informer
Kubernetes组件在工作过程中需要大量监控并查询集群中的资源对象。以Deployment控制器为例,它需要实时关注Deployment和要控制的ReplicaSet的状态变更,实时收敛ReplicaSet的
- 2023-01-24 Informer源代码学习记录之“数据集处理”
一、源码代码核心exp_informer.py: #获取数据集处理类, 选取的数据集为'weather',数据集处理类Dataset_CustomData=data_dict[self.args.dat
- 2023-01-24Informer源码学习记录之 "模型搭建build_model"
一、初始化1.代码结构main_informer.py: exp=Exp(args)#setexperimentsexp_basic.py:classExp_Informer(E