• 2025-01-06【即插即用完整代码】CVPR 2024部分单头注意力SHSA,分类、检测和分割SOTA!
    文章末尾,扫码添加公众号,领取完整版即插即用模块代码!适用于所有的CV二维任务:图像分割、超分辨率、目标检测、图像识别、低光增强、遥感检测等摘要(Abstract)背景与动机:近年来,高效的视觉Transformer(ViT)在资源受限的设备上表现出色,具有低延迟和良好的性能。传统的高效ViT模型
  • 2025-01-06TORCH-NGP环境配置
    楼主的服务器是NVIDIARTX4090,可支持12.2CUDA驱动,但是TORCH-NGP中CUDA函数与TORCH=1.11.0版本适配,因此需要安装符合TORCH-NGP的CUDA环境。建议不要用github官网上的指令【https://github.com/ashawkey/torch-ngp】去下载,会出现一系列问题。create-ntorch-ngppython=3.9cond
  • 2025-01-06动手学深度学习-python基础知识介绍part1
    基础详解-part1importtorchx=torch.arange(12)xx.shapex.numel()#数组中元素的总数#修改形状x.reshape(3,4)torch.zeros((2,3,4))#两层,三行,四列print(torch.tensor([[2,1,4,3],[1,2,3,4],[4,3,2,1]]).shape)#二维#两个框表示二维,三个表示三维print(torch.tens
  • 2025-01-06【爆肝4万字】PyTorch从入门到精通:张量操作、自动微分、梯度下降全解析
    文章目录前言一、张量的创建1.1基本创建方式1.1.1常用方法1.1.2示例代码1.1.3输出结果1.2创建线性和随机张量1.2.1常用方法1.2.2示例代码1.2.3输出结果1.3创建0和1张量1.3.1常用方法1.3.2示例代码1.3.3输出结果1.4张量元
  • 2025-01-05训练基于Transformer的翻译任务模型
     
  • 2025-01-05【Python实现连续学习算法】复现2018年ECCV经典算法RWalk
    Python实现连续学习Baseline及经典算法RWalk1连续学习概念及灾难性遗忘连续学习(ContinualLearning)是一种模拟人类学习过程的机器学习方法,它旨在让模型在面对多个任务时能够连续学习,而不会遗忘已学到的知识。然而,大多数深度学习模型在连续学习多个任务时会出现“灾难性
  • 2025-01-05利用huggingface尝试的第一个简单的文本分类任务
    `'''这是一个简单的文本分类任务,基本的流程步骤还是挺清晰完整的,和之前那个简单的cnn差不多,用到了transformers包,还需用到huggingface的模型rbt3,但是好像连接不上``''''''遇到的问题:1.导入的包不可用,从AutoModelForTokenClassification换成了AutoModelForSequenceClassific
  • 2025-01-04pytorch各种乘法,mm, matmul, dot, @, *, mul, multiply
    torch.mm线代的矩阵乘法,要求输入都是矩阵torch.matmul注意:torch.mm和torch.matmul不等价根据输入不同执行不同的操作:输入都是二维矩阵,矩阵乘法,等同于torch.mm输入都是一维向量,计算向量内积,等同于torch.dot第一个参数是向量,第二个是矩阵,则将第一个参数变成(1,n)的矩
  • 2025-01-04模型训练二三事:参数个数、小批量、学习率衰减
    获取torch参数总数在PyTorch中,要获取一个模型的参数总数,可以使用以下命令:total_params=sum(p.numel()forpinmodel.parameters())这里,model 是你的模型实例。model.parameters() 返回模型中所有参数的迭代器,p.numel() 返回单个参数的元素总数。sum 函数用来将这
  • 2025-01-04深度学习(优化器)
                下面实现了深度学习中的几种优化器,包括SGD,Momentum,Nesterov,AdaGrad,RMSProp,AdaDelta,Adam和AdamW。代码如下:importtorchimporttorch.nnasnnfromtorchvisionimporttransforms,datasetsdevice=torch.device("cuda"iftorch.cud
  • 2025-01-04Transformer学习与基础实验1——注意力机制
    前置概念    自然语言处理(NLP)中,根据任务内容的不同,句子、段落等文本中需要更加关注的部分(不同的词语、句子等)也会不同。    在判断词在句子中的重要性时便使用了注意力机制,可以通过注意力分数来表达某个词在句子中的重要性,分数越高,说明该词对完成该任务的重
  • 2025-01-03如何构建一个用于草莓成熟度检测的YOLOv5模型,并使用Yolov5训练使用草莓成熟度检测数据集模型 并实现可视化及评估推理 3类 yolo标注
    **声明:博客内所有文章代码仅供参考!**如何训练这个——草莓成熟度检测数据集,共800余张大棚内实景拍摄,区分为成熟,未成熟,草莓花梗三类,提供yolo标注,1.4GB草莓成熟度检测数据集,共800余张大棚内实景拍摄,区分为成熟,未成熟,草莓花梗三类,提供yolo标注,1.4GB构建一个用于草莓成熟
  • 2025-01-03使用Mask R-CNN模型来进行目标检测和实例分割 大规模高分辨率树种单木分割数据集 处理大规模高分辨率树种单木分割任务从14个不同树种类中分割和标注了23,000个树冠
    单木分割数据集。从14个不同树种类中分割和标注了23,000个树冠,采集使用了DJIPhantom4RTK无人机树种单木分割数据集。从14个不同树种类中分割和标注了23,000个树冠,采集使用了DJIPhantom4RTK无人机。正射tif影像,点云、arcgis详细标注单株树木矢量数据(并标明树木类型),数
  • 2025-01-03如何利用深度学习框架训练使用 可以使用YOLOv5模型来进行目标检测 智慧化生产工地 钢筋计数数据集共23400组 voc标注,从数据准备到模型训练的所有步骤
    如何训练自己的数据集——智慧化生产工地资产盘点,超大规模钢筋计数数据集,共23400组图像,多视角,多角度,多场景,采用voc方式标注。智慧化生产工地资产盘点,超大规模钢筋计数数据集,共23400组图像,多视角,多角度,多场景,采用voc方式标注。为了实现智慧工地资产盘点中的超大规模钢筋计
  • 2025-01-03PyTorch 中 reciprocal(取倒数)函数的深入解析:分析底层实现CPP代码
    PyTorch中reciprocal函数的深入解析reciprocal:美[rɪˈsɪprəkl][数]倒数;注意发音引言reciprocal是PyTorch和底层C++实现中广泛使用的数学函数,它计算输入的倒数(reciprocal)。倒数在数值计算、反向传播和优化过程中经常使用,尤其是在浮点数缩放和归一化的场景
  • 2025-01-02【新教程】华为昇腾NPU的pytorch环境搭建
    1硬件配置使用学校的集群,相关配置如下:CPU:鲲鹏920NPU:昇腾910B2安装版本根据昇腾官方gitee上的信息,Pytoch2.1.0是长期支持版本,因此选择安装这一版本,从而最大限度避坑。本教程选择的版本如下:Python:3.9Pytorch:2.1.0选择依据:参考链接:https://gitee.com/ascend/pytorch3
  • 2025-01-01多尺度计算
    完整过程Letmeexplainthetechnicaldetailsofrouteinferenceandanomalydetectionbasedonthepaper:RouteInferenceTechnicalDetails:Single-scaleInference:UsesRNNtoprocessembeddingsateachtimestamp:hi=g1(ẽi,hi-1),i=1,2,...,nw
  • 2025-01-01深度学习基础理论————分布式训练(模型并行/数据并行/流水线并行/张量并行)
    主要介绍Pytorch分布式训练代码以及原理以及一些简易的Demo代码模型并行是指将一个模型的不同部分(如层或子模块)分配到不同的设备上运行。它通常用于非常大的模型,这些模型无法完整地放入单个设备的内存中。在模型并行中,数据会顺序通过各个层,即一层处理完所有数据之后再传递给下一
  • 2024-12-31【论文阅读笔记】SCI算法与代码 | 低照度图像增强 | 2022.4.21
    目录一SCI1SCI网络结构核心代码(model.py)2SCI损失函数核心代码(loss.py)3实验二SCI效果1下载代码2运行一SCI
  • 2024-12-31【论文阅读笔记】IceNet算法与代码 | 低照度图像增强 | IEEE | 2021.12.25
    目录1导言2相关工作A传统方法B基于CNN的方法C交互方式3算法A交互对比度增强1)Gammaestimation2)颜色恢复3)个性化初始ηB损失函数1)交互式亮度控制损失2)熵损失3)平滑损失4)总损失C 实现细节4实验5IceNet环境配置和运行1下载代码2运行3训
  • 2024-12-31使用libtorch对光度立体算法(photometric stereo)进行加速(C++)
    光度立体法是一种三维重建方法,在一些表面产品的缺陷检测有较多的应用(具有深度的缺陷),但是光度立体法需要对每个像素点都求解一个线性方程组L(n*3)*N(3*1)=I(n*1)(n为光源数),在cpu中计算是非常耗时的。本文借助libtorch,在gpu中通过卷积的方式,实现方程组的求解,耗时大约为cpu
  • 2024-12-30pytorch中神经网络的定义方法
    1.继承torch.nn.Module类(推荐方法)最常见和推荐的方式是通过继承torch.nn.Module类来创建一个自定义的神经网络模型。在这种方式下,你需要定义__init__()方法来初始化网络层,并在forward()方法中定义前向传播逻辑。示例:一个简单的全连接神经网络importtorchimpor
  • 2024-12-30pytorch(.pth)模型转化为 torchscript(.pt), 导出为onnx格式
    pytorch(.pth)模型转化为torchscript(.pt),导出为onnx格式1.pth模型转换为.pt模型importtorchimporttorchvisionfrommodelsimportfcnmodel=torchvision.models.vgg16()state_dict=torch.load("./checkpoint-epoch100.pth")#print(state_dict)model.load_state
  • 2024-12-29线性回归的从零实现
    1.生成数据集从标准正态分布中采样两个特征,根据带有噪声的线性模型构造一个人造数据集defsynthetic_data(w,b,num_examples):X=torch.normal(0,1,(num_examples,len(w)))#从正态分布去生成输入的X值y=torch.matmul(X,w)+b#根据真实的权重偏置生成结果y
  • 2024-12-29深度解析 Transformer 模型中的位置嵌入(Positional Embedding)
    在上一篇中,我们探讨了词嵌入(WordEmbedding),它根据词嵌入矩阵将文本序列转换为数值向量,使得计算机能够理解和处理自然语言。现在,让我们进一步了解位置嵌入(PositionalEmbedding),这是让Transformer模型“知晓”词语顺序的关键。1.位置嵌入的作用想象一下,如果我们只用词嵌入,那