- 2025-01-23Transforms库常见类的使用(一)
一、ToTensor1.ToTensor的类说明将PIL或numpy类型的图片转化为tensor类型(为什么要用tensor类型,上篇文章提到过Transforms的使用-CSDN博客)2.ToTensor类的使用将ToTensor类实例化后调用魔术方法,完成类型转化。结果:二、Normalize1.Normalize类的说明通过输入tensor类
- 2025-01-23【PyTorch】0.初识:从吃货角度理解张量
0.初识张量PyTorch是一个Python深度学习框架,它将数据封装成张量(Tensor)来进行运算。PyTorch中的张量就是元素为同一种数据类型的多维矩阵。在PyTorch中,张量以"类"的形式封装起来,对张量的一些运算、处理的方法被封装在类中。我们如何理解上面这段话呢?举一个例子:假
- 2025-01-23【PyTorch】2.张量的计算
目录1.张量基本运算2.阿达玛积3.点积运算4.指定运算设备5.总结大家好我是一颗米,在上一节课我们学到,在PyTorch的世界里,计算的数据都是以张量形式存在的。这就好比在我们的科学实验室里,所有的实验材料都被整理成了特定的规格,这个规格就是张量。不管是简单的数据,还
- 2025-01-19学习笔记:Pytorch基础(一)--张量
张量(Tensor)是PyTorch中的核心数据结构,用于存储和操作多维数组。相当于NumPy的ndarray(NumPy是python的一种开源的数据计算扩展,支持大量的维度数组和矩阵运算)。但是PyTorch的张量可以运行在不同的设备上,比如CPU和GPU,这使得它们非常适合于进行大规模并行计算,特别是在深度学
- 2025-01-16人工智能之深度学习_[2]-PyTorch入门
PyTorch1.PyTorch简介1.1什么是PyTorchPyTorch是一个基于Python的科学计算包PyTorch安装pipinstalltorch-ihttps://pypi.tuna.tsinghua.edu.cn/simplePyTorch一个基于Python语言的深度学习框架,它将数据封装成张量(Tensor)来进行处理。PyTorch提供了灵活且高效的
- 2025-01-16PyTorch使用教程(3)-Tensor包
1、张量Tensor张量(Tensor)是PyTorch深度学习框架中的核心数据结构,在PyTorch软件框架中,几乎所有的数据计算和信息流都是以Tensor的形式在表达。官方给出的定义是:一个torch.Tensor是一个包含单个数据类型元素的多维矩阵关键词单个数据类型:在一个张量数据结构内,只会包含
- 2025-01-16PyTorch使用教程(2)-torch包
1、简介torch包是PyTorch框架最外层的包,主要是包含了张量的创建和基本操作、随机数生成器、序列化、局部梯度操作的上下文管理器等等,内容很多。我们基础学习的时候,只有关注张量的创建、序列化,随机数、张量的数学数学计算等常用的点即可。2、什么是张量在PyTorch中,张量(Te
- 2025-01-06动手学深度学习-python基础知识介绍part1
基础详解-part1importtorchx=torch.arange(12)xx.shapex.numel()#数组中元素的总数#修改形状x.reshape(3,4)torch.zeros((2,3,4))#两层,三行,四列print(torch.tensor([[2,1,4,3],[1,2,3,4],[4,3,2,1]]).shape)#二维#两个框表示二维,三个表示三维print(torch.tens
- 2025-01-06【爆肝4万字】PyTorch从入门到精通:张量操作、自动微分、梯度下降全解析
文章目录前言一、张量的创建1.1基本创建方式1.1.1常用方法1.1.2示例代码1.1.3输出结果1.2创建线性和随机张量1.2.1常用方法1.2.2示例代码1.2.3输出结果1.3创建0和1张量1.3.1常用方法1.3.2示例代码1.3.3输出结果1.4张量元
- 2025-01-01为飞桨PaddlePaddle实现笛卡尔直积
为飞桨PaddlePaddle实现笛卡尔直积笛卡尔直积(CartesianProduct)是指两个或多个集合之间的所有可能的有序组合。比如有两个集合,分别是(1,2)和(3,4),那么笛卡尔直积的结果就是:(1,3)(1,4)(2,3)(2,4)在飞桨中,是没有笛卡尔直积这个计算函数的,但是可以辅助实现,比如使用itertools.product来方便
- 2024-12-31使用libtorch对光度立体算法(photometric stereo)进行加速(C++)
光度立体法是一种三维重建方法,在一些表面产品的缺陷检测有较多的应用(具有深度的缺陷),但是光度立体法需要对每个像素点都求解一个线性方程组L(n*3)*N(3*1)=I(n*1)(n为光源数),在cpu中计算是非常耗时的。本文借助libtorch,在gpu中通过卷积的方式,实现方程组的求解,耗时大约为cpu
- 2024-12-27backward方法中gradient参数的意义
首先,我们要清楚使用backward()的目的,是为了求出某个张量对于某些标量节点的梯度。举个例子:x=[x1,x2,x3],z=x12+x22+x32+6那么 z.backward()表示的就是张量x对于标量z的梯度,即[∂z
- 2024-12-24跟着问题学23番外——反向传播算法理论及pytorch自动求导详解
前向传播与反向传播在单层神经网络的优化算法里,我们讲到优化算法是为了寻找模型参数使得网络的损失值最小,这里详细介绍一下应用的基础——反向传播算法。在神经网络中,梯度计算是通过反向传播算法来实现的。反向传播算法用于计算损失函数相对于网络参数(如权重和偏置)的梯度,从而
- 2024-12-19【Tensor Computation for Data Analysis】T-SVD(Tensor Singular Value Decomposition)
什么是T-SVD?T-SVD(TensorSingularValueDecomposition)是针对三维张量的一种奇异值分解方法,类似于我们熟悉的矩阵的SVD(奇异值分解)。T-SVD是基于t-product的分解,可以将张量分解为三个部分:正交张量、对角张量和另一个正交张量。它在信号处理、图像修复、视频分析等多维
- 2024-12-18【LLaMa-Factory】训练报错 a Tensor with 8 elements cannot be converted to Scalar
Q:训练时,报错aTensorwith8elementscannotbeconvertedtoScalarA1:大概率时transformers版本不适配参考https://github.com/hiyouga/LLaMA-Factory/issues/5885A2降低transformers版本我这本来是4.46,后降为4.44版本就能用了pipinstalltransfor
- 2024-12-13转载:【AI系统】Tensor Core 深度剖析
TensorCore是用于加速深度学习计算的关键技术,其主要功能是执行神经网络中的矩阵乘法和卷积运算。通过利用混合精度计算和张量核心操作,TensorCore能够在较短的时间内完成大量矩阵运算,从而显著加快神经网络模型的训练和推断过程。具体来说,TensorCore采用半精度(FP16)作为输入
- 2024-12-12Pytorch学习_03 Tensor(上):基础计算单元
目录什么是TensorTensor的类型、创建及转换Tensor的类型Tensor的创建直接创建从NumPy中创建创建特殊形式的TensorTensor的转换Tensor的常用操作获取形状矩阵转秩(维度转换)形状变换增减维度小结什么是TensorTensor是深度学习框架中极为基础的概念,也是PyTroch
- 2024-12-11转载:【AI系统】Tensor Core 深度剖析
TensorCore是用于加速深度学习计算的关键技术,其主要功能是执行神经网络中的矩阵乘法和卷积运算。通过利用混合精度计算和张量核心操作,TensorCore能够在较短的时间内完成大量矩阵运算,从而显著加快神经网络模型的训练和推断过程。具体来说,TensorCore采用半精度(FP16)作为输入
- 2024-12-11转载:【AI系统】GPU 架构回顾(从2018年-2024年)
Turing架构2018年Turing图灵架构发布,采用TSMC12nm工艺,总共18.6亿个晶体管。在PC游戏、专业图形应用程序和深度学习推理方面,效率和性能都取得了重大进步。相比上一代Volta架构主要更新了TensorCore(专门为执行张量/矩阵操作而设计的专门执行单元,深度学习计算核心)、
- 2024-12-11转载:【AI系统】Tensor Core 基本原理
在英伟达的通用GPU架构中,主要存在三种核心类型:CUDACore、TensorCore以及RTCore。其中,TensorCore扮演着极其关键的角色。TensorCore是针对深度学习和AI工作负载而设计的专用核心,可以实现混合精度计算并加速矩阵运算,尤其擅长处理半精度(FP16)和全精度(FP32)的矩阵乘法和累
- 2024-12-11转载:【AI系统】Tensor Core 深度剖析
TensorCore是用于加速深度学习计算的关键技术,其主要功能是执行神经网络中的矩阵乘法和卷积运算。通过利用混合精度计算和张量核心操作,TensorCore能够在较短的时间内完成大量矩阵运算,从而显著加快神经网络模型的训练和推断过程。具体来说,TensorCore采用半精度(FP16)作为输入
- 2024-12-11转载:【AI系统】Tensor Core 深度剖析
TensorCore是用于加速深度学习计算的关键技术,其主要功能是执行神经网络中的矩阵乘法和卷积运算。通过利用混合精度计算和张量核心操作,TensorCore能够在较短的时间内完成大量矩阵运算,从而显著加快神经网络模型的训练和推断过程。具体来说,TensorCore采用半精度(FP16)作为输入
- 2024-12-05tf.sparse.reshape ValueError: Cannot reshape a tensor with xxx elements to shape [x, None]
目录项目场景问题描述报错信息原因分析解决方案后续问题项目场景大口径超表面的逆向优化设计,需要处理大型稀疏张量,超过10^10次方个数据。问题描述在使用tf.sparse.SparseTensor将大批量三维稀疏张量整形成二维稀疏张量的时候,代码报错,用简单的代码举个例子:import
- 2024-11-30简单讲讲 mobile aloha 代码---训练阶段的encoder
简单讲讲mobilealoha代码---训练阶段的encoder图片来源于mobilealoha论文; 训练和推理的核心的代码是这两个文件:detr/models/detr_vae.pydetr/models/transformer.py参见论文(https://arxiv.org/pdf/2304.13705)的第6页"C.ImplementingACT"和第14页"C.Detailed
- 2024-11-24pytorch运行错误:RuntimeError: a leaf Variable that requires grad is being used in an in-place operation
tensor张量参与的运算,都会生成计算图,哪怕其中只有一个tensor,剩下的也都会被强制类型转换因此每一步要分清实在构建计算图还是在更新值。每一个tensor分为grad梯度和data。grad也是一个tensor。如果要更新,务必确保参与运算的每一个元素都是值(非tensor)出现报错的原因就是更新