首页 > 其他分享 >:)关于torch函数中dim的解释-读这篇就够了-|

:)关于torch函数中dim的解释-读这篇就够了-|

时间:2023-04-08 11:22:56浏览次数:33  
标签:dim eng torch 这篇 softmax print out

关于torch函数中dim的解释-读这篇就够了

1 dim的取值范围

1)-1的作用

  0,1,2,-1.  其中-1 最后一维 即 2

  0,1,2,3,-1其中-1 最后一维 即3

2)维度

0,1,2,3表示 BCHW,常在CV任务中使用。

0,1,2 表示 CHW, 常在NLP任务中使用。

3)用图来说明

 

 2 NLP代码中实战dim

from torch import nn
from transformers import AutoModelForSequenceClassification
from transformers import AutoTokenizer
check = "distilbert-base-uncased-finetuned-sst-2-english"
raw_eng = ["i like this video", "i hate the food"]

tokenizers = AutoTokenizer.from_pretrained(check)
model = AutoModelForSequenceClassification.from_pretrained(check)
# 打印模型结构
print(model)
inputs = tokenizers(raw_eng,
                    # 是否pad
                    padding=True,
                    # 是否截断
                    truncation=True,
                    # 返回torch.tensor
                    return_tensors="pt")
print(inputs)
# 使用toknizers.decode来解tok id 为 英文
eng_content = tokenizers.decode([101, 1045, 2066, 2023, 2678,  102])
print(eng_content)

# 开始推理
out = model(**inputs)
print(out)
# 输出为[2,2] 前面2 为batchsize,后面2为2分类
print(out.logits.shape)

nn.functional.softmax(out.logits, dim=-1)
print("---end---")

  

out 输出为2,2 

 

需要对第一行 两个数据求softmax,概率值(置信度)

需要对第二行(样本2) 两个数据求softmax。

 

所以 softmax函数dim 应该取CHW中w, 也就是2, 为了统一方便,取-1最后一维。

 

标签:dim,eng,torch,这篇,softmax,print,out
From: https://www.cnblogs.com/lx63blog/p/17298201.html

相关文章

  • 【研究生学习】Pytorch基本知识——神经网络实战分类与回归任务
    本博客主要记录一下神经网络实战分类与回归任务如何用Pytorch完成气温数据集及任务介绍首先需要导入数据集:importpandasaspdfeatures=pd.read_csv('temps.csv')print(features.head())#取数据的前n行数据,默认是前5行可以看到运行结果,看一下数据的样子:数据中的......
  • pytorch installation
    用国内镜像安装Pytorch,首先需要添加conda镜像源condaconfig--addchannelshttps://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/(pytorch清华的镜像源)condaconfig--addchannelshttps://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/condac......
  • pytorch2.0系列教程-前言
    pytorch已经来到了2.0版本!!!然后之前搞文档翻译或者系列教程的几个网站也已经停更很久,有的停留在1.4,较新的也停留在1.11。遂决定在此更新一下,作为同学们的参考。--------------------------分割线-------------------------下面是目录:1.PyTorch入门1.1pytorch简介1.2pyto......
  • pytorch中的transforms.ToTensor和transforms.Normalize理解
     ......
  • 使用pytorch自己构建网络模型实战
    文章目录写在前面完整网络模型训练步骤1、准备数据集2、加载数据集3、搭建神经网络✨✨✨4、创建网络模型5、设置损失函数、优化器6、设置网络训练中的一些参数7、开始训练网络✨✨✨8、开始测试网络✨✨✨9、保存模型检测训练模型的效果写在前面  前段时间在Git上下载了yolov5......
  • 基于pytorch搭建VGGNet神经网络用于花类识别
    文章目录基于pytorch搭建VGGNet神经网络用于花类识别写在前面VGGNet网络模型搭建训练结果展示小结 基于pytorch搭建VGGNet神经网络用于花类识别写在前面  上一篇写过基于pytorch搭建AlexNet神经网络用于花类识别项目实战,建议阅读此篇前先弄明白上篇所述之事......
  • 基于pytorch搭建ResNet神经网络用于花类识别
    文章目录基于pytorch搭建ResNet神经网络用于花类识别写在前面ResNet网络模型搭建✨✨✨训练结果展示小结基于pytorch搭建ResNet神经网络用于花类识别写在前面【当然这是要在你对这部分网络结构的理论有充分的了解之后】另一方面,我觉得这部分真的得你自己切切实实的钻研,自己一步步的......
  • [FAQ] Pytorch PytorchStreamReader failed reading zip archive
     比如:rm-rf~/.cache/huggingface  Link:https://www.cnblogs.com/farwish/p/17290240.html......
  • Win10(CPU)+ Anaconda3 + python3.9安装pytorch
    Win10(CPU)+Anaconda3+python3.9安装pytorch1.安装Anaconda31.1下载Anaconda3可以在官网下载Anaconda3-2022.05-Windows-x86_64.exe,这个版本对应的是python3.9。1.2安装Anaconda3此步骤比较简单,双击.exe文件,一步一步执行即可,有不确定的可以自行百度,教程比较多,但基本一致......
  • 动手深度学习pytorch
    <scriptsrc="http://latex.codecogs.com/latex.js"type="text/javascript"></script>引言 一:过去⼗年中取得巨⼤进步的想法1.如dropout(Srivastavaetal.,2014),有助于减轻过拟合的危险。这是通过在整个神经⽹络中应⽤噪声注⼊(Bishop,1995)来实现的,出于训练⽬的,⽤......