首页 > 其他分享 >pytorch中GroupNorm的使用(笔记)

pytorch中GroupNorm的使用(笔记)

时间:2023-03-10 10:14:28浏览次数:52  
标签:32 batchsize 笔记 pytorch 设置 维度 groupNorm GroupNorm

不使用BatchNorm的原因

  相比起batchNorm,groupNorm对一个batch的size更不敏感。在现有的研究中,batchNorm在batchsize越大的情况下,效果更佳,batchsize=32的情况明显优于batchsize=2。

  在许多计算机视觉的任务中,batchsize由于计算机资源的限制,往往只能设置在1~8之间,而利用GPU训练,设置batchsize=32往往更合适。(玄学的设置)

  但GroupNorm根据相关的研究,其对batchsize的敏感性更小,也就是说较小的batchsize和较大的batchsize,都会得到相对而言不错的结果,不会因为batchsize过小而导致结果变差。

相关链接:全面解读Group Normalization-(吴育昕-何恺明 )——https://zhuanlan.zhihu.com/p/177853578

如何使用GroupNrom?

  

  如图,num_groups是要设置分组的个数,num_channels是输入数据的维度,与输入数据保持一致即可。

  依据现有的研究,GroupNorm中的G的设置,为32的时候最优,16的时候也还可以。

使用GroupNorm出错的一些情况

groupNorm中设置的groupChannels与输入数据的维度不匹配。

  

groupNorm中设置的groupNums不能与输入数据的维度整除

  

标签:32,batchsize,笔记,pytorch,设置,维度,groupNorm,GroupNorm
From: https://www.cnblogs.com/xiaoaozi/p/17202305.html

相关文章

  • opencv初学笔记
    黑马程序员【黑马程序员人工智能教程_10小时学会图像处理OpenCV入门教程】https://www.bilibili.com/video/BV1Fo4y1d7JL?vd_source=2f130c342f954b6e380a92c05c8b4252......
  • 算法基础课笔记:第一章,基础算法 排序 + 二分
    这节课的内容排序快排归并排序二分整数二分浮点数二分如何提高自己敲模板的熟练度呢?反复的练,孰能生巧。重复3-5次。快排1.确定分界点2.调整区......
  • 数据分析基础笔记 - 数据清洗
    一、读取文件,预处理数据集数据清洗就是对数据的质量进行检查和处理。脏数据定义:由于记录或者储存的原因,导致部分数据缺失、重复、异常、错误,没有分析意义,就叫做“脏数......
  • [学习笔记]《C++ Primer》第七章 类
    thisthis是常量指针,指向非常量版本的类MyClass*const成员函数(memberfunction)所有成员都必须在类的内部声明,但成员函数体可以定义在类内或类外。->成员函数的调用:调......
  • 3.9笔记
    createdatabasenidaye;创建nidaye的数据库showdatabases;查看所有数据库usenidaye;使用你自己的数据库showtables#查看当前数据库下所有的表整数:int小数float日期......
  • 【WinForm】 自学笔记二:连接数据库以及查询结果显示
    本次使用 SqlConnection来连接数据库,使用DataGridView来显示查询的结果。最终效果如下:  一、连接数据库1.获取连接数据库所需的字符串,包括服务器名称,数据库名称......
  • [machine-learning学习笔记]逻辑回归
    逻辑回归目的:分类一、Sigmoid函数​ 公式如下:\[g(z)=\frac{1}{1+e^{-z}}\]​ 图中\(Sigmoid\)函数将任意输入映射到\([0,1]\)区间,我们通过线性回归的到预测值,再......
  • GO语言学习笔记-接口篇 Study for Go ! Chapter six - Interface
    持续更新Go语言学习进度中......GO语言学习笔记-类型篇StudyforGo!Chapterone-Type-slowlydance2me-博客园(cnblogs.com)GO语言学习笔记-表达式篇Study......
  • FLINK实时数仓笔记2
    离线架构优点:耦合性能低,稳定性高缺点:时效性差一点说明:1.项目经理(架构师)是大公司出来的,追求系统的稳定性2.耦合性低,稳定性高3.考虑到公司未来的发展,数据量一定会变得......
  • C++笔记--函数、预处理
    1函数1.1函数的介绍1.1.1函数的概述函数是c语言的功能单位。实现一个功能可以封装一个函数来实现。定义函数的时候一切以功能为目的,根据功能去定函数的参数和返回值......