首页 > 其他分享 >深度学习(计算数据集均值标准差)

深度学习(计算数据集均值标准差)

时间:2024-10-01 13:22:39浏览次数:7  
标签:count torch tensor 均值 标准差 transforms file 深度 names

   

深度学习中有些数据集可能不符合imagenet计算出的均值和标准差,需要根据自己的数据集单独计算。

下面这个脚本能够计算当前数据集均值和标准差。 

import torch
import os
from PIL import Image
from torchvision import transforms

# trans = transforms.Compose([
#     transforms.Resize((256, 256)),
#     transforms.ToTensor(),
#     transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]),
# ])

toTensor = transforms.ToTensor()
root = './imgs/'
torch.set_printoptions(precision=10)

def get_file_names(directory):
    file_names = []
    for file_name in os.listdir(directory):
        if os.path.isfile(os.path.join(directory, file_name)):
            file_names.append(file_name)
    return file_names

filenames = get_file_names(root)

mean = torch.zeros(3)
std = torch.zeros(3)
#tensor([0.4526, 0.4316, 0.3995]) tensor([0.2419, 0.2364, 0.2406])

count = 0
for file in filenames:
    imgname = root + file
    image = Image.open(imgname)
    tensor = toTensor(image)
    for c in range(3):
        mean[c] += tensor[c,:,:].mean()
        std[c] += tensor[c,:,:].std()
    count+=1
    print(mean/count,std/count)
         

标签:count,torch,tensor,均值,标准差,transforms,file,深度,names
From: https://www.cnblogs.com/tiandsp/p/18442500

相关文章

  • 基于深度学习的跌倒检测系统:YOLOv5/v6/v7/v8/v10模型实现与UI界面集成、数据集
    1.引言跌倒检测是一个重要的研究领域,尤其在老年人和病人监护中,及时检测并响应跌倒事件可以大大减少伤害和死亡的风险。本博客将介绍如何构建一个基于深度学习的跌倒检测系统,使用YOLOv5进行目标检测,并设计一个用户界面(UI)来实时监控和反馈。本文将详细描述系统的各个组成部分......
  • 深度学习应用
    深度学习作为人工智能领域的重要分支,已经在多个行业中展现出巨大的应用潜力和价值。以下是深度学习的一些主要应用领域及其具体实例:图像识别:深度学习在图像识别方面取得了重大突破,包括图像分类、目标检测和语义分割等任务。这些技术被广泛应用于安全监控、自动驾驶以及医疗影......
  • 深度学习(输出模型中间特征)
      深度学习骨干网络一般会包含很多层,这里写了一个脚本,可以保存骨干网络的所有特征图。代码主要用了get_graph_node_names和create_featrue_extractor这两个函数。get_graph_node_names是得到所有特征节点名字。create_featrue_extractor是提取对应节点输出的特征tensor。......
  • 【机器学习】揭秘反向传播:深度学习中神经网络训练的奥秘
      目录......
  • 深度学习系列之1----直观解释Transformer
    Abstract这个系列主要用来记录我自己这种的AI小白的学习之路,通过将所学所知总结下来,记录下来。之前总喜欢记录在笔记本上,或者ipad上,或者PC端的Typora上,但总是很难回头检索到一些系统的知识,因此我觉得博客是一个不错的选择,因为时不时我就会登录网站翻看过去的痕迹,我觉得这是一种很......
  • 光伏含氟废水的深度除氟(学习笔记)
    光伏废水中的氟深度除氟是一个复杂但重要的过程,以确保废水在排放前达到环保标准。以下是一些常用的深度除氟方法:一、化学沉淀法化学沉淀法是通过向含氟废水中投加化学试剂,使其与废水中的氟生成氟化物沉淀,然后通过过滤或自然沉降等方法使沉淀物与水分离,达到除氟的目的。这种......
  • 深度合成类算法备案最详细指引
        深度合成备案填报包括三个步骤:一是填报主体信息;二是填报算法信息;三是关联产品及功能信息或填报技术服务方式。以下为详细介绍。(一)主体信息填报    《算法备案承诺书》和《落实算法安全主体责任基本情况》根据模板下载,严格按照模板要求填写打印,加盖公章后......
  • 商品信息获取:京东API返回值深度
    解析和利用返回的数据API返回的数据通常是JSON格式,包含了商品的详细信息。你需要解析这些数据,并提取你需要的信息。例如,你可能需要以下信息:商品名称价格库存促销信息用户评价商品图片详细描述规格参数使用API获取商品数据下面是使用Python调用京东商品详情API的示例代......
  • 吴恩达深度学习笔记:卷积神经网络(Foundations of Convolutional Neural Networks)2.5-2.
    目录第四门课卷积神经网络(ConvolutionalNeuralNetworks)第二周深度卷积网络:实例探究(Deepconvolutionalmodels:casestudies)2.5网络中的网络以及1×1卷积(NetworkinNetworkand1×1convolutions)2.6谷歌Inception网络简介(Inceptionnetworkmotivation)......
  • 深度学习中的结构化概率模型 - 引言篇
    序言在深度学习的广阔领域中,结构化概率模型(Structured Probabilistic Models\text{StructuredProbabilisticModels}Structured Probabilistic Models)扮演着至关重......