首页 > 其他分享 >深度学习(模型参数直方图)

深度学习(模型参数直方图)

时间:2024-10-03 12:04:22浏览次数:8  
标签:plt 模型 module 直方图 num 参数 深度 data

       

模型参数直方图可以展示模型参数在训练过程中的分布情况。

通过直方图,可以了解模型的学习状态,识别过拟合或欠拟合问题,从而进行模型调优。

下面以ResNet18为例,显示了不同层的参数直方图。

import torchvision
from matplotlib import pyplot as plt
import torch

model = torchvision.models.resnet18(pretrained=True)

num = 1
# 遍历模型的每一层
for name, module in model.named_modules():
    # 判断是否为卷积层
    if isinstance(module, torch.nn.Conv2d):
        # 输出卷积层名称和权重
        print(f"layer {name} : {module.weight.data.shape}")
        Oc,Ic,H,W = module.weight.data.shape
        data = module.weight.data.view(Oc*Ic*H*W).numpy()            
        plt.subplot(5,4,num)
        plt.hist(data,bins=50)
        num +=1

plt.show()           

结果如下:

标签:plt,模型,module,直方图,num,参数,深度,data
From: https://www.cnblogs.com/tiandsp/p/18445516

相关文章

  • 深入理解扩散模型中的高斯分布参数化
    在机器学习领域,扩散模型(DiffusionModels,DM)是近年来非常热门的生成模型之一。其背后的核心思想是通过逐步向数据中注入噪声,使得数据从原始的有序状态转变为完全无序的状态(通常为标准高斯分布)。这一过程为后续的反向扩散过程(去噪)提供了基础,帮助模型从噪声中恢复出原始数据。本......
  • 03 掌握Docker核心架构:镜像、仓库、容器及运行管理的深度解析
    文章目录03掌握Docker核心架构:镜像、仓库、容器及运行管理的深度解析一概述1.1镜像1.2镜像仓库1.3容器二、镜像及镜像仓库2.1本地镜像仓库2.2镜像仓库简介2.3使用远端仓库2.3.1从远端镜像仓库拉取apache镜像2.3.2从远端镜像仓库拉取指定......
  • 第二百六十节 JPA教程 - JPA查询命名参数示例
    JPA教程-JPA查询命名参数示例JPQL支持两种类型的参数绑定语法。第一种是位置绑定,其中参数在查询字符串中通过问号后面跟随参数号来指示。执行查询时,开发人员指定应替换的参数编号。SELECTeFROMEmployeeeWHEREe.department=?1ANDe.salary>?2命名参数......
  • 深度学习(可视化卷积核)
       可视化卷积核参数对理解卷积神经网络的工作原理、优化模型性能、提高模型泛化能力有一定帮助作用。下面以resnet18为例,可视化了部分卷积核参数。importtorchvisionfrommatplotlibimportpyplotaspltimporttorchmodel=torchvision.models.resnet18(pretrai......
  • 使用 NVIDIA Container Toolkit 和 Docker 配置 GPU 深度学习环境
    在深度学习开发中,充分利用GPU资源是提高模型训练效率的关键。本文将详细介绍如何安装NVIDIAContainerToolkit,并配置Docker容器以利用GPU进行深度学习训练。我们将结合NVIDIAContainerToolkit的安装和Docker容器的配置,确保你拥有一个高效的GPU开发环境。1.安装......
  • 59_初识搜索引擎_搜索相关参数梳理以及bouncing results问题解决方案
    1、preference决定了哪些shard会被用来执行搜索操作_primary,_primary_first,_local,_only_node:xyz,_prefer_node:xyz,_shards:2,3bouncingresults问题,两个document排序,field值相同;不同的shard上,可能排序不同;每次请求轮询打到不同的replicashard上;每次页面上看到的搜索......
  • 数字经济与新质生产力:地理信息与遥感视角下的深度分析
    在数字化浪潮的推动下,我们正见证着生产力的一次历史性飞跃。数字经济如何重塑生产力的三大要素:劳动对象、劳动资料和劳动者?让我们来深度分析数字经济如何推动新质生产力的发展。一、数字经济与地理信息的融合地理信息与遥感技术是数字经济中不可或缺的一环。它们......
  • 【深度学习基础模型】卷积神经网络(Convolutional Neural Networks, CNN)详细理解并附实
    【深度学习基础模型】卷积神经网络(ConvolutionalNeuralNetworks,CNN)详细理解并附实现代码。【深度学习基础模型】卷积神经网络(ConvolutionalNeuralNetworks,CNN)详细理解并附实现代码。文章目录【深度学习基础模型】卷积神经网络(ConvolutionalNeuralNetworks,......
  • 36_初识搜索引擎_分页搜索以及deep paging性能问题深度图解揭秘
    课程大纲1、讲解如何使用es进行分页搜索的语法size,fromGET/_search?size=10GET/_search?size=10&from=0GET/_search?size=10&from=20分页的上机实验GET/test_index/test_type/_search"hits":{"total":9,"max_score":1,我们假设将这9条数据分成3页,每一页是3条数......
  • 29_分布式文档系统_深度图解剖析document数据路由原理
    (1)document路由到shard上是什么意思?(2)路由算法:shard=hash(routing)%number_of_primary_shards举个例子,一个index有3个primaryshard,P0,P1,P2每次增删改查一个document的时候,都会带过来一个routingnumber,默认就是这个document的_id(可能是手动指定,也可能是自动生成)routing=_i......