首页 > 其他分享 >torch.nn.RNNBase.flatten_parameters()

torch.nn.RNNBase.flatten_parameters()

时间:2022-10-05 12:11:39浏览次数:46  
标签:RNNBase parameters contiguous torch module flatten

  • Resets parameter data pointer so that they can use faster code paths
  • Right now, this works only if the module is on the GPU and cuDNN is enabled. Otherwise, it’s a no-op.

翻译一下,就是重置参数的数据指针。其实就是contiguous(连续性)的问题,在pytorch issue上有这样的warning:

UserWarning: RNN module weights are not part of single contiguous chunk of memory. This means they need to be compacted at every call, possibly greately increasing memory usage. To compact weights again call flatten_parameters().

我的理解是,为了提高内存的利用率和效率,调用flatten_parameters让parameter的数据存放成contiguous chunk(连续的块)。类似我们调用tensor.contiguous.

标签:RNNBase,parameters,contiguous,torch,module,flatten
From: https://www.cnblogs.com/zjuhaohaoxuexi/p/16755352.html

相关文章

  • 用PyTorch搭建LeNet-5手写识别
    用PyTorch搭建LeNet-5手写识别首先申明,这篇博客用于记录本人看完LeNet-5论文,并对其中的算法进行复现的记录,可以看成是学习笔记在此推荐一个b站up的视频从0开始撸代码--手......
  • 初识PyTorch
    查看cuda是否可用importtorchtorch.cuda.is_available()Datasetfromtorch.utils.dataimportDatasethelp(Dataset)Dataset小练习fromtorch.utils.dataimpor......
  • Jmeter组件:参数化之User Parameters
    1、是什么UserParameters:用户参数,在用户量不大的情况下可以使用该组件2、实现思想(怎么用)实现思想与CSVDataSetConfig类似组件添加完成后,设置线程组的线程数,有几个用户就......
  • nohup训练pytorch模型时的报错以及tmux的简单使用
    问题:在使用nohup命令后台训练pytorch模型时,关闭ssh窗口,有时会遇到下面报错:WARNING:torch.distributed.elastic.agent.server.api:Received1deathsignal,shuttingdo......
  • pytorch中神经网络的学习记录
    (记录疑惑点,部分内容省略)神经网络的构造:Module类是nn模块里提供的一个模型构造类,是所有神经⽹网络模块的基类,我们可以继承它来定义我们想要的模型。多层感知机(MLP类)重载......
  • 了解Pytorch|Get Started with PyTorch
    一个开源的机器学习框架,加速了从研究原型到生产部署的路径。!pipinstalltorch-ihttps://pypi.tuna.tsinghua.edu.cn/simpleimporttorchimportnumpyasnpBasics......
  • Pytorch实战:8层神经网络实现Cifar-10图像分类验证集准确率94.71%
    实验环境:Pytorch1.7.0torchvision0.8.2Python3.8CUDA10.2+cuDNNv7.6.5Win10+PycharmGTX1660,6G网络结构采用最简洁的类VGG结构,即全部由3*3卷积和最大池......
  • torchvision.opt.nms/torchvision.ops.box_iou使用(计算nms与计算iou)
     本博客记录使用torchvision.opt.nms()函数求解nms用法及torchvision.ops.box_iou()函数求解iou用法。 torchvision.opt.nms()参数如下(来源源码):Parameters----......
  • pytorch 构建单/多层感知机
    One-HotEncode编码:主要用于解决神经网络用于分类的构建loss编码的方式super()super()函数是用于调用父类(超类)的一个方法。super()是用来解决多重继承问题的,直接......
  • Pytorch教程[持续更新...]
    前言这是一个Pytorch的学习笔记,同时加入了一点个人理解。写这个博客的初衷是为了让我更好的在课上摸鱼,复习视频来自我是土堆强烈推荐Dataset类代码实战这一步我们......