• 2024-06-21Linear phase filters-线性相位滤波器概念
    一概念线性相位滤波器(LinearPhaseFilter)是一种常见的数字信号处理工具,用于在频率域中对信号进行滤波。与传统的非线性相位滤波器不同,线性相位滤波器具有特定的频率响应特性,使得信号通过滤波器后的相位延迟与频率成正比,从而保持信号的相对时间关系。这使得线性相位滤波器在许多
  • 2024-06-18matlab误差估计扩展卡尔
    在MATLAB中实现扩展卡尔曼滤波器(ExtendedKalmanFilter,EKF)通常涉及对非线性系统的状态进行估计。扩展卡尔曼滤波是一种从标准的卡尔曼滤波器扩展而来的算法,它适用于处理具有非线性动态模型和/或观测模型的系统。一个非线性系统可以使用泰勒级数展开来近似为线性系统,这使得
  • 2024-06-13波士顿房价线性回归预测
    ⚠申明:未经许可,禁止以任何形式转载,若要引用,请标注链接地址。全文共计14748字,阅读大概需要30分钟
  • 2024-06-12Mamba: Linear-Time Sequence Modeling with Selective State Spaces
    目录概Mamba代码GuA.andDaoT.Mamba:Linear-timesequencemodelingwithselectivestatespaces.2023.概Mamba.MambaS4和S4D虽然解决了SSM计算速度的问题,但是有一个前提,就是\(A,B,C,D\)是与时间\(t\)无关的.这导致这些方法只能采取一种固定的模
  • 2024-06-07神经网络-激活函数
    深度学习中的激活函数与神经网络初始化在深度学习中,激活函数和网络的初始化对于模型的性能和收敛性至关重要。本文将探讨不同类型的激活函数,并展示如何使用PyTorch进行神经网络参数的初始化。激活函数对比激活函数是神经网络中的关键组成部分,它们在神经元之间引入非线性,使得
  • 2024-06-0301-regression
    deeplearning01-regression(1)MachineLearning让机器具备一个找函式的能力differenttypesoffunction预测-regression:要找的函式,他输出的是一个数值 分类-classfication:函式的输出,从设定好的选项里面选择当一个当作输出 创造-structuredlearning:机器学会创
  • 2024-06-03css实现按钮霓虹灯效果
    html<bodystyle="background-color:#000;display:flex;justify-content:center;align-items:center;width:100vw;height:100vh;"><divclass="light"><div></div><div></div>
  • 2024-05-30安利一个高性能集合库
    在找现成的IntArrayList发现的:real-logic/agrona:HighPerformancedatastructuresandutilitymethodsforJavaBuffers-Threadsafedirectandatomicbuffersforworkingwithonandoffheapmemorywithmemoryorderingsemantics.Lists-Arraybackedlist
  • 2024-05-27微信小程序—轮播图+背景变化
    <viewclass="tab-list-movie"style="background:{{bgColor[swiperIndex]}}"><swiperclass="movie-swiper"autoplayinterval="3000"circularindicator-dotsindicator-active-color="white"bindchange=&q
  • 2024-05-26Linear regression
    Correlationsamplecorrelationcoefficient:r,from-1to1LinearregressionAssumptions:•Theresidualsarenormallydistributedandhomeostatic•Theerrorsareindependent•TherelationshipsarelinearOutliers具体代码首先构建模型。再进行下一步的
  • 2024-05-23Unity Texture Setting 中 Filter Mode的影响
    网友的笔记https://blog.csdn.net/u012322710/article/details/50858216Fitermode过滤器模式 因为贴图在屏幕里肯定会存在放大,缩小的情况,这种时候就会出现锯齿。今天看到一个视频有讲解到这一块。在UNITY3D中点开一张贴图,Fitermode过滤器模式,下面有3个选项 point ,
  • 2024-05-17Games101-1 Linear Algebra
    简单介绍和资源列表https://sites.cs.ucsb.edu/~lingqi/teaching/games101.html线代vector--向量表示$\vec{a}$and$\mathbf{a}$and$\vec{AB}=B-A$指代方向没有起始点向量的长度$\left|\vec{a}\right|$单位向量$\hat{a}=\vec{a}/\left|\vec{a}\r
  • 2024-05-08Lora训练的参数和性能
    主要为了测试模型增加Lora模块后,参数量和训练速度的变化情况。结论:正常情况下,增加Lora模块是会增加参数量的,因此前向传播和反向传播的时间也会增加。但是,在大语言模型训练的情况下,因为基础模型本身参数量非常大,Lora模块增加的参数量相对非常小。并且,基础模型不参与梯度更新,可以做
  • 2024-04-17解决加载GPT2(Tensorflow预训练模型)的Linear权重到PyTorch的Linear权重 形状不匹配(互为转置)问题
    解决报错内容:RuntimeError:Error(s)inloadingstate_dictforPyTorchBasedGPT2:sizemismatchfortransformer.h.0.attn.c_attn.weight:copyingaparamwithshapetorch.Size([768,2304])fromcheckpoint,theshapeincurrentmodelistorch.Size([2304,768])...
  • 2024-04-15论文解读(Polynormer)《Polynormer: Polynomial-Expressive Graph Transformer in Linear Time》
    Note:[wechat:Y466551|可加勿骚扰,付费咨询]2024年4月14日17:13:41论文信息论文标题:Polynormer:Polynomial-ExpressiveGraphTransformerinLinearTime论文作者:论文来源:2024 aRxiv论文地址:download论文代码:download视屏讲解:click1-摘要图转换器(GTs)已经成为一种
  • 2024-04-05最简单知识点PyTorch中的nn.Linear(1, 1)
    一、nn.Linear(1,1)nn.Linear(1,1) 是PyTorch中的一个线性层(全连接层)的定义。nn 是PyTorch的神经网络模块(torch.nn)的常用缩写。nn.Linear(1,1) 的含义如下:第一个参数 1:输入特征的数量。这表示该层接受一个长度为1的向量作为输入。第二个参数 1:输出特征的数量
  • 2024-04-03Python环境下基于小波分析的Linear电磁谱降噪
    小波变换以其良好的时频局部化特性,成功地解决了保护信号局部性和抑制噪声之间的矛盾,因此小波技术在信号降噪中得到了广泛的研究,并获得了非常好的应用效果。小波降噪中最常用的方法是小波阈值降噪。基于小波变换的阈值降噪关键是要解决两个问题:阈值的选取和阈值函数的确定,目前常
  • 2024-04-02大模型架构之MOE
    transformers库里面的modeling_mistral.pyMistralModel((embed_tokens):Embedding(32000,4096)(layers):ModuleList((0-1):2xMistralDecoderLayer((self_attn):MistralSdpaAttention((q_proj):Linear(in_features=4096,out_features=4096,
  • 2024-03-30深度学习pytorch——nn.Module(持续更新)
    作为一个初学者,发现构建一个简单的线性模型都能看到nn.Module的身影,初学者疑惑了,nn.Module到底是干什么的,如此形影不离,了解之后,很牛。1、nn.Module是所有层的父类,比如Linear、BatchNorm2d、Conv2d、ReLU、Sigmoid、ConvTranposed、Dropout等等这些都是它的儿子(子类),你可以直接
  • 2024-03-26CUTLASS: Fast Linear Algebra in CUDA C++
    https://developer.nvidia.com/blog/cutlass-linear-algebra-cuda/EfficientMatrixMultiplicationonGPUs计算密集度=(时间复杂度/空间复杂度)=O(N^3)/O(N^2)=O(N)//naivefor(inti=0;i<M;++i)for(intj=0;j<N;++j)for(intk=0;k<
  • 2024-03-24Logistic回归
    一、线性回归简介线性回归模型是指采用线性组合形式的回归模型,在线性回归问题中,因变量和自变量之间是线性关系的。对于第i个因变量xi,我们乘以权重系数wi,取y为因变量的线性组合:y=f(x)=wⁱxⁱ+…+wⁿxⁿ+b其中b为常数项。若w=(w¹…wⁿ),则上式可以写成向量形式:y=f(x)=wᵀx+b
  • 2024-03-23如何用pytorch调用预训练Swin Transformer中的一个Swin block模块
    1,首先,我们需要知道的是,想要调用预训练的SwinTransformer模型,必须要安装pytorch2,因为pytorch1对应的torchvision中不包含SwinTransformer。2,pytorch2调用预训练模型时,不建议使用pretrained=True,这个用法即将淘汰,会报警告。最好用如下方式:fromtorchvision.models.swin_trans
  • 2024-03-19第三章:数据建模与模型评估
    #1.数据建模importpandasaspdimportnumpyasnpimportmatplotlib.pyplotasplt#python绘图库可以与numpy一起使用importseabornassns#基于python的图形可视化库,更加方便快捷fromIPython.displayimportImagedata=pd.read_csv('clear_data.csv')#清洗后的数
  • 2024-03-18css实现一个三排数组滚动抽奖
    简单理解可视化版本:<divclass="slot-machine"><divclass="reel"><div>Item1</div><div>Item2</div><div>Item3</div><div>Item1<
  • 2024-03-182024-03-18 闲话
    今天听了[FAI]UMich胡威|神经网络表示中的隐藏结构【NeuralCollapse】假设我们的神经网络在经过映射\(h\)之后再经过Linear+softmax得到输出,考虑经过\(h\)映射后的representation。如果是分类任务(总共\(T\)类),那么会根据input的label聚合到\(T\)个点。同