首页 > 其他分享 >pytorch(四)模型训练方法

pytorch(四)模型训练方法

时间:2024-11-05 20:19:20浏览次数:4  
标签:loss 模型 step 训练方法 pytorch train test total data

训练步骤01

import torchvision
from torch.utils.data import DataLoader
from torch import nn
from model import *
#训练数据集
train_data = torchvision.datasets.CIFAR10(root="../data",train=True,transform=torchvision.transforms.ToTensor(),
                                          download=True)
#测试数据集
test_data = torchvision.datasets.CIFAR10(root="../data",train=False,transform=torchvision.transforms.ToTensor(),
                                         download=True)
#查看数据集中有多少图片,长度
train_data_size = len(train_data)
test_data_size = len(test_data)
print("训练数据集长度为:{}".format(train_data_size))
print("测试数据集长度为{}".format(test_data_size))

#利用Dataloader来加载数据集
train_dataloader = DataLoader(train_data,batch_size=64)
test_dataloader = DataLoader(test_data,batch_size=64)

#创建网络模型
tudui = Tudui()

#损失函数
loss_fn = nn.CrossEntropyLoss()

#优化器
learning_rate = 0.01
optimizer = torch.optim.SGD(tudui.parameters(),lr = learning_rate)

#训练网络的一些参数
#训练次数
total_train_step = 0
#测试次数
total_test_step = 0
#训练轮数
epoch = 10
#循环10次
for i in range(epoch):
    print("------第{}轮训练开始------".format(i+1))
    
    #训练步骤开始
    for data in train_dataloader:
        imgs,targets = data 
        outputs = tudui(imgs)
        loss = loss_fn(outputs,targets) #损失函数
        
        #优化器优化模型
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        
        total_train_step = total_test_step+1
        print("训练次数:{},Loss:{}".format(total_train_step,loss))
        
        

训练步骤02

import torchvision
from torch.utils.data import DataLoader
from torch import nn
from model import *

from torch.utils.tensorboard import SummaryWriter
#训练数据集
train_data = torchvision.datasets.CIFAR10(root="../data",train=True,transform=torchvision.transforms.ToTensor(),
                                          download=True)
#测试数据集
test_data = torchvision.datasets.CIFAR10(root="../data",train=False,transform=torchvision.transforms.ToTensor(),
                                         download=True)
#查看数据集中有多少图片,长度
train_data_size = len(train_data)
test_data_size = len(test_data)
print("训练数据集长度为:{}".format(train_data_size))
print("测试数据集长度为{}".format(test_data_size))

#利用Dataloader来加载数据集
train_dataloader = DataLoader(train_data,batch_size=64)
test_dataloader = DataLoader(test_data,batch_size=64)

#创建网络模型
tudui = Tudui()

#损失函数
loss_fn = nn.CrossEntropyLoss()

#优化器
learning_rate = 0.01
optimizer = torch.optim.SGD(tudui.parameters(),lr = learning_rate)

#训练网络的一些参数
#训练次数
total_train_step = 0
#测试次数
total_test_step = 0
#训练轮数
epoch = 10

#添加tensorboard
writer = SummaryWriter("../logs_train")


#循环10次
for i in range(epoch):
    print("------第{}轮训练开始------".format(i+1))
    
    #训练步骤开始
    for data in train_dataloader:
        imgs,targets = data 
        outputs = tudui(imgs)
        loss = loss_fn(outputs,targets) #损失函数
        
        #优化器优化模型
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        
        total_train_step = total_test_step+1
        if total_train_step % 100 ==0:
            print("训练次数:{},Loss:{}".format(total_train_step,loss))
            writer.add_scalar("tranin_loss",loss.item(),total_train_step)
        
     #测试步骤
    with torch.no_grad():
        
           for data in test_dataloader:
               imgs,targets = data
               outputs = tudui(imgs)
               loss = loss_fn(outputs,targets)
               total_test_loss = total_test_step +loss.item()
    print("整体测试集上的Loss:{}".format(total_test_loss))
    writer.add_scalar("test_loss",total_test_loss,total_test_step)
    total_test_step = total_test_step + 1

标签:loss,模型,step,训练方法,pytorch,train,test,total,data
From: https://blog.csdn.net/weixin_53294261/article/details/143524676

相关文章

  • pytorch(三)
    01 现有网络模型的使用及修改importtorchvisionfromtorchimportnn#train_data=torchvision.datasets.ImageNet("../data_image_net",split='train',download=True,#transform=torchvision.transforms.ToTen......
  • 2024/11/5日 日志 关于BOM浏览器对象模型和DOM文档对象模型的学习与笔记整理
    和Javascript有关的BOM与DOM及事件监听。以下是今天的内容点击查看代码--BOM--BrowserObjectModel浏览器对象模型--JavaScript将浏览器的各个组成部分封装为对象--组成:--Window:浏览器窗口对象--Navigator:浏览器对象--Screen:屏幕对象--History:历史记录......
  • 机器学习实战——基于随机森林与决策树模型的贷款违约预测全过程(附完整代码和可视化分
    机器学习实战——基于随机森林与决策树模型的贷款违约预测全过程(附完整代码和可视化分析)关于作者作者:小白熊作者简介:精通python、matlab、c#语言,擅长机器学习,深度学习,机器视觉,目标检测,图像分类,姿态识别,语义分割,路径规划,智能优化算法,数据分析,各类创新融合等等。联系邮......
  • Hume.ai 升级:自研情感模型集成 Claude 和 Fal;数字嗅觉公司 Osmo 用 AI 实现气味「传送
       开发者朋友们大家好: 这里是**「RTE开发者日报」**,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享RTE(Real-TimeEngagement)领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」,但内容仅代表......
  • AI 大模型重塑软件开发:传统与未来的碰撞
    目录引言传统软件开发流程与模式AI参与的软件开发流程AI带来的优势面临的挑战及应对策略展望未来结语引言        随着人工智能技术的飞速发展,AI大模型正逐步渗透至各行各业,其中软件开发领域尤为显著。从代码自动生成到智能测试,AI不仅简化了开发流程,还......
  • 计算机毕业设计Python+大模型新能源汽车销量预测 汽车销量分析可视化 汽车爬虫 深度学
    温馨提示:文末有CSDN平台官方提供的学长联系方式的名片!温馨提示:文末有CSDN平台官方提供的学长联系方式的名片!温馨提示:文末有CSDN平台官方提供的学长联系方式的名片!作者简介:Java领域优质创作者、CSDN博客专家、CSDN内容合伙人、掘金特邀作者、阿里云博客专家、51CTO......
  • 大模型技术学习过程详细梳理,收藏我这一篇就够了!!!
    学习大模型技术也有几个月的时间了,之前的学习一直是东一榔头,西一棒槌,这学一点那学一点,虽然弄的乱七八糟,但对大模型技术也算有了一个初步的认识。前排提示,文末有大模型AGI-CSDN独家资料包哦!因此,今天就来整体梳理一下大模型技术的框架,争取从大模型所涉及的理论,技术,应用等多......
  • 大规模语言模型的书籍分享!!
    在当今人工智能领域,大规模语言模型成为了研究和应用的热点之一。它们以其大规模的参数和强大的性能表现,推动着机器学习和深度学习技术的发展。对于GPT系列大规模语言模型的发展历程,有两点令人印象深刻。前排提示,文末有大模型AGI-CSDN独家资料包哦!第一点是可拓展的训练架......
  • 全网最详细大语言模型(LLM)入门学习路线图
    Github项目上有一个大语言模型学习路线笔记,它全面涵盖了大语言模型的所需的基础知识学习,LLM前沿算法和架构,以及如何将大语言模型进行工程化实践。这份资料是初学者或有一定基础的开发/算法人员入门活深入大型语言模型学习的优秀参考。这份资料重点介绍了我们应该掌握哪些核......
  • 三维模型服务发布
    三维模型服务发布此次介绍是以超图软件为基础来讲解的。在发布三维模型前需要做好以下准备:软件授权安装(Superidesktop和SuperServer软件)数据准备(需要发布三维模型的shp数据)创建数据源文件首先打开SuperIdesktop软件,新建数据源。会弹出数据源保存路径窗口,建立路径后和数据源......