%负荷数据预测单输入单输出（BP时序预测）%使用布谷鸟优化算法实现%假设你已经有了输入数据和对应的输出数据%输入数据应该是一个矩阵，每一行代表一个样本，每一列代表一个特征%输出数据应该是一个列向量，每个元素代表对应样本的输出%设置布谷鸟优化算法参数max_iter=

前沿：这部分内容是《AttentionIsAllYouNeed》出来之后就深入研究了这篇文章的模型结构，也是之后工作那一年进行实际落地的一小部分内容。最近再次使用它，顺带读了torch官方的实现，大家风范的实现，注意很多细节，值得我们学习，也顺带放在这，之后就不再了解这块内容了，过去式了。下

1.visionmamba结构与原理        Mamba成功的关键在于S6模型，该模型为NLP任务设计，通过选择性扫描空间状态序列模型，将二次复杂度降低至线性。但由于视觉信号（如图像）的无序性，Mamba的S6模型不能直接应用，设计了2D-selective-scan（SS2D）模块。        如上图所

目录1.InputEmbedding2.PositionalEncoding3.Multi-HeadAttention4.Add&Norm5.Feedforward+Add&Norm6.代码展示（1）layer_norm（2）encoder_layer=1最近刚好梳理了下transformer，今天就来讲讲它~        Transformer是谷歌大脑2017年在论文attention

YOLOv10全网最新创新点改进系列：融合最新顶会提出的HCANet网络中卷积和注意力融合模块(CAFM)，有效提升小目标检测性能，大幅度拉升目标检测效果！遥遥领先！YOLOv10全网最新创新点改进系列：融合最新顶会提出的HCANet网络中卷积和注意力融合模块(CAFM-2024年4月开源)，有效提升小目标检

可避免偏差如果希望学习算法能在训练集上表现良好，但有时实际上并不想做得太好。得知道人类水平的表现是怎样的，可以确切告诉算法在训练集上的表现到底应该有多好，或者有多不好，让我说明是什么意思吧。经常使用猫分类器来做例子，比如人类具有近乎完美的准确度，所以人类水平的错误是1%

全连接/线性在神经网络中，全连接层，也称为线性层，是一种层，其中来自一层的所有输入都连接到下一层的每个激活单元。在大多数流行的机器学习模型中，网络的最后几层是完全连接的。实际上，这种类型的层执行基于在先前层中学习的特征输出类别预测的任务。全连接层的示例，具有四个输入节点

1、线性回归原理复习   1)构建模型      y=w1x1+w2x2+.....wnxn+b   2)构造损失函数      均方误差   3)优化损失       梯度下降2、案例:实现线性回归的训练   准备真实数据   100样本 

transformers库里面的modeling_mistral.pyMistralModel((embed_tokens):Embedding(32000,4096)(layers):ModuleList((0-1):2xMistralDecoderLayer((self_attn):MistralSdpaAttention((q_proj):Linear(in_features=4096,out_features=4096,

1，首先，我们需要知道的是，想要调用预训练的SwinTransformer模型，必须要安装pytorch2，因为pytorch1对应的torchvision中不包含SwinTransformer。2，pytorch2调用预训练模型时，不建议使用pretrained=True，这个用法即将淘汰，会报警告。最好用如下方式：fromtorchvision.models.swin_trans

论文地址：https://arxiv.org/pdf/1503.02531.pdf在蒸馏网络中会遇到手动调整bias的说法，但是这个bias在论文中又没有明细说明是怎么个bias，具体论文出处：Ifthisbiasisincreasedby3.5查询Gemini，得到回答：Assumingyou'rereferringtotheprevioussentenceaboutl

本系列文章md笔记（已分享）主要讨论深度学习相关知识。可以让大家熟练掌握机器学习基础,如分类、回归（含代码），熟练掌握numpy,pandas,sklearn等框架使用。在算法上，掌握神经网络的数学原理，手动实现简单的神经网络结构，在应用上熟练掌握TensorFlow框架使用，掌握神经网络图像相关案例。具体

推荐系统的bias有很多：positionbias,popularitypias,selectionbias,exposurebias,conformitybias（从众心理）等，针对不同的bias有不同的模型来解决。核心的问题还是，这些bias导致一部分优秀的itemunderestimate或者underperform，为了更公正的推出这些item，需要去掉这些bias。

对比各个大模型的网络结构ps:使用自己的config,但是模型结构跟官方配置原理一致.chatglm3ChatGLMForConditionalGeneration((transformer):ChatGLMModel((embedding):Embedding((word_embeddings):Embedding(65024,4096))(rotary_pos_emb):Rotar

Biasofanestimator Differencebetweenanestimator'sexpectedvaluefromaparameter'struevalueForbroadercoverageofthistopic,seeBias(statistics).Instatistics,thebiasofanestimator(orbiasfunction)ist

偏差，方差注意到，几乎所有机器学习从业人员都期望深刻理解偏差和方差，这两个概念易学难精，即使自己认为已经理解了偏差和方差的基本概念，却总有一些意想不到的新东西出现。关于深度学习的误差问题，另一个趋势是对偏差和方差的权衡研究甚浅，可能听说过这两个概念，但深度学习的误差很少权衡

一.Motivation1.transformer的工作主要集中在设计transformer块以获得全局信息，而忽略了合并高频先验的潜力2. 关于频率对性能的影响的详细分析有限（Additionally,there islimiteddetailedanalysisoftheimpactoffrequencyon performance.）注： （1） 图说明：随着高

陀螺仪常见的陀螺仪为MEMS，使用硅微加工技术制造，使用科氏力。误差模型\[m(t)=m_t(t)+bias(t)+\epsilon(t)\\\dot{bias}(t)=n_b(t)\]固定偏差bias，作为状态量估计白噪声\(\epsilon(t)\)积分成角度随机游走，连续时间标准差\(\sigma\)（标定结果）除以\(sqrt(\delta(t))\)得到离散标

importtorchimporttorch.nnasnnclassBasicConv(nn.Module):def__init__(self,in_channel,out_channel,kernel_size,stride,bias=True,norm=False,relu=True,transpose=False):super(BasicConv,self).__init__()ifbiasandnorm:

层与块块是由若干个层组成,在编程中我们一般用类表示块,一般我们通过实例化nn.Sequential()来构建模型,而有时我们需要自定义块;classMLP(nn.Module):#用模型参数声明层。这里，我们声明两个全连接的层 def__init__(self): #调用MLP的父类Module的构造函数来执行必

classMLP(torch.nn.Module):"""MLP.MLPwilltaketheinputwithhhiddenstate,projectitto4*hhiddendimension,performnonlineartransformation,andprojectthestatebackintohhiddendimension.""&quo

1.可视化相关：2.交叉验证：（提分技巧之一）k折交叉验证k-foldcrossvalidation 首先随机地将数据集切分为k个互不相交的大小相同的子集； 然后将k-1个子集当成训练集训练模型，剩下的(heldout)一个子集当测试集测试模型； 将上一步对可能的k种选择重复进行(每次挑一个不

摘要小巧轻量的MEMS惯性传感器最*在性能上的提升，使得惯性技术可以应用到诸如人体运动捕获这样的领域。这使得对惯性导航的研究兴趣被激发，然而目前对这个主题的导论都没有充分讲清楚惯性系统的误差特性（errorcharacteristic）。引言这是一篇剑桥大学OliverJ.Woodman写的技术报告

 之前分别用numpy实现了mlp，cnn，lstm和bert模型，这周顺带搞一下GPT-2，纯numpy实现，最重要的是可在树莓派上或其他不能安装pytorch的板子上运行，生成数据gpt-2的mask-multi-headed-self-attention我现在才彻底的明白它是真的牛逼，比bert的multi-headed-self-attention牛的不是一点半点，

代码读取配置文件创建的网络['features.0.1.weight:torch.Size([24,3,3,3])','features.0.2.weight:torch.Size([24])','features.0.2.bias:torch.Size([24])','features.1.conv.0.1.weight:torch.Size([24,1,3,3])','features.1.