首页 > 其他分享 >Tensorboard step和图片加载不完全处理办法

Tensorboard step和图片加载不完全处理办法

时间:2024-07-31 21:54:17浏览次数:10  
标签:-- step Tensorboard 图像 test data 加载

import torchvision
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

# 加载CIFAR10测试数据集
# 参数说明:
# "./dataset": 数据集保存路径
# train=False: 加载测试集而非训练集
# transform: 将图像转换为PyTorch张量
test_data = torchvision.datasets.CIFAR10("./dataset", train=False, transform=torchvision.transforms.ToTensor())

# 创建DataLoader
# dataset=test_data: 使用上面加载的测试数据集
# batch_size=4: 每批加载4张图片
# shuffle=True: 随机打乱数据顺序
# num_workers=0: 不使用多进程加载数据
# drop_last=False: 不丢弃最后一个不完整的批次
test_loader = DataLoader(dataset=test_data, batch_size=64, shuffle=True, num_workers=0, drop_last=False)

# 获取第一个数据样本
img, target = test_data[0]
print(img.shape)  # 打印图像的形状
print(target)  # 打印目标标签

# 创建TensorBoard的SummaryWriter对象
writer = SummaryWriter("dataloader")
for epoch in range(2):
    step = 0
    for data in test_loader:
        imgs, targets = data
        # 将每批图像添加到TensorBoard
        # "test_data": 图像的标识名
        # imgs: 图像数据
        # step: 当前步骤
        writer.add_images("test_data", imgs, step)
        step = step + 1

# 关闭SummaryWriter
writer.close()

小土堆Pytorch P15学习的时候发现直接在terminal中使用这行代码,tensorboard加载出来的step是不完全的

tensorboard --logdir=dataloader

因为在默认情况下,TensorBoard 可能会限制显示的图像样本数量以节约资源,如果想要所有的图片和step都可以完整的显示需要使用这一行代码

tensorboard --logdir=dataloader --samples_per_plugin=images=10000

通过在terminal执行这个代码,就可以看到完成的step

--samples_per_plugin 参数可以控制每个插件展示的最大样本数。默认情况下,TensorBoard 可能会限制显示的图像样本数量以节约资源。而使用   --samples_per_plugin=images=10000 可以显著增加 TensorBoard 显示的图像样本数量。

标签:--,step,Tensorboard,图像,test,data,加载
From: https://blog.csdn.net/aozhoupengyuyan/article/details/140832926

相关文章

  • OSTEP
    OSTEPjyy0x01reference官网教学视频1.whylearnOS1.解决一个问题的步骤:why-what-how为什么要学习操作系统什么是操作系统怎样学习操作系统2.三个根本问题(1)操作系统服务谁程序=状态机课程涉及:多线程Linux应用程序(2)(乘机/应用视角)操作系统为程序提供什么服务操作......
  • 记一次解决SpringBoot项目由于依赖加载顺序问题导致启动报NoSuchMethodError的问题
    只发博客园,盗版必究先说背景平时我们的SpringBoot项目都是打成ExecutableJar启动应用,最近接了个技术需求,需要打成War包,将多个项目放在同一个Tomcat中运行。原本Jar包启动一切正常,但是打成WAR放Tomcat启动后报错了,异常栈如下:Causedby:org.springframework.beans.factory.......
  • 图片预加载和懒加载
    ......
  • winform界面加载慢、卡顿
    C#Winform开发窗体程序时,当控件很多时,会出现加载缓慢、闪烁的问题,或者窗体放大缩小的时候,由于控件计算比例等,也会出现显示缓慢、闪烁的问题。解决方法:///<summary>///双缓冲,解决界面加载、放大、缩小的卡顿问题///</summary>protectedo......
  • 关于VMware workstation添加本地物理磁盘时候提示“未能为设备XX加载分区,权限不足,无法
    前言:玩虚拟机这么久了,原先一直是直接初始化虚拟机的时候按照流程新建虚拟机硬盘,但是正常情况下虚拟机硬盘与物理机硬盘是隔离开的,无法直接相互访问正常情况下是安装vmtools来进行相互间文件传输,或者将物理磁盘上的文件拷贝到U盘,当插上U盘的时候选择连接到对应的虚拟机即可实现......
  • 如何在 Django 中加载特定应用程序的模板?
    所以我正在高级学习Django,我已经知道如何包含manage.py所在的BASE_DIR中的模板。但是我想知道如何在Django中的特定应用程序中查找模板。例如,我有一个名为“mysite”的项目和一个名为polls的应用程序。现在,我在settings.pyDIRS=中添加了模板[os.path.join(BA......
  • Ollama+GGUF离线加载本地模型
    一般在使用Ollama下载模型时,都是从Ollama官方仓库下载(使用ollamarun命令),但一些环境下,受限于网速等原因使用这种方式可能会非常慢甚至无法下载,所以我们可以选择使用Huggingface上的GGUF文件,在Ollama仓库里的模型都可以在Huggingface上找到,因此我们可以使用Ollama+GGUF文件离线......
  • Python CDLL 无法加载两次
    我正在尝试用python创建一个密码管理器,但遇到了一个问题,一旦加载了一种类型的dll,我就无法加载不同的dll,在这个示例中,我加载了一个dll,并尝试解密加密的密码数据,它工作正常,直到我加载另一个不同的nss3.dll文件,此时它给我一个错误:“过程入口点HeapAlloc无法位于动态链......
  • 如何修复我的 Python Azure Function DevOps Pipeline 上的“找到 1 个函数(自定义)加载
    我正在尝试使用AzureDevOps构建管道将PythonAzureFunction部署到Azure门户。由于某种原因,代码被部署到服务器,但我在尝试访问端点时收到404错误。我收到一个错误,显示1functionsfound(Custom)0functionsloaded,以及在服务器上显示ModuleNotFound......
  • 无法在 Llama Index 中加载 HuggingFace Embeddings llama3.1
    我有一个非常简单的代码,如下所示:fromllama_index.embeddings.huggingfaceimportHuggingFaceEmbeddingembed_model=HuggingFaceEmbedding(model_name="meta-llama/Meta-Llama-3-8B")我看到这个模型,meta-llama/Meta-Llama-3-8B,只有4.5GB,而我有16GBRAM,最多只使用20......