首页 > 其他分享 >基于 Mindspore 框架与 ModelArts 平台的 MNIST 手写体识别实验

基于 Mindspore 框架与 ModelArts 平台的 MNIST 手写体识别实验

时间:2023-05-29 12:11:05浏览次数:62  
标签:下载 训练 ModelArts 模型 py Mindspore pip MNIST

简介

实验包含 2部分:

  1. 基于 Mindspore 框架的模型本地训练及预测
  2. 基于 Modelarts 平台和 PyTorch框架的模型训练及部署

基于 Mindspore 框架的模型本地训练及预测

本例子会实现一个简单的图片分类的功能,整体流程如下:

  1. 处理需要的数据集,这里使用了 MNIST 数据集。
  2. 定义一个网络,这里我们使用 LeNet 网络。
  3. 定义损失函数和优化器。
  4. 加载数据集并进行训练,训练完成后,查看结果及保存模型文件。
  5. 加载保存的模型,进行推理。
  6. 验证模型,加载测试数据集和训练后的模型,验证结果精度

安装 MindSpore

安装页面

如图:我是在自己电脑下载,所以下载Windows版本的,然后选CPU。python版本都可以选。

安装报错:

如果提示这个,一般是两个原因:

  • 你的电脑之前有装其他版本的pythonpip版本和python不对应。
    • 卸载python重新装一个。
    • 使用命令:python3 -m pip install --upgrade pip更新pip
  • 下载命令错误。安装MindSpore有两种pip命令,下面是另一种:

  • 如果报错,可以试试不同的命令(亲测有效)。

MNIST 数据集

我们示例中用到的 MNIST 数据集是由 10 类 28*28 的灰度图片组成,训练数据集包含60000 张图片,测试数据集包含 10000 张图片。

MNIST 数据集下载页面:下载页面

将数据集解压分别存放到工作区的./MNIST_Data/train、./MNIST_Data/test 路径下。

其他一些报错

现在,使用PyCharm打开文件夹。

  • 如果出现MindSpore找不到,

    验证一下的你的Interpreter:检查下Package

  • 提示需要下载easydict

    直接pip 下载,或通过Package中下载。

实验步骤

  • 打开项目,我使用的是PyCharm

  • 修改代码
    • 修改默认的设备,这里我是Windows下的CPU版本,所以修改为CPU

  • 增加eval.pytrain.py需要的代码:

    • 设定 loss 函数

    • 设定优化器

    • 编译形成模型

    • 训练网络

  • 增添lenet.py的代码。

  • 运行train.py

  • 之后,生成了ckpy文件夹。这里保存的用于测试的模型。那么第十轮我们损失函数最小,我们自然就用第十轮的模型:

  • 运行eval.py

基于 Modelarts 平台和 PyTorch 框架的模型训练及部署

先注册一个华为云账号。

然后按照教程:教程,一步一步完成即可。

标签:下载,训练,ModelArts,模型,py,Mindspore,pip,MNIST
From: https://www.cnblogs.com/Az1r/p/17440100.html

相关文章

  • macbook苹果m1芯片训练机器学习、深度学习模型,resnet101在mnist手写数字识别上做加速
    apple的m1芯片比以往cpu芯片在机器学习加速上听说有15倍的提升,也就是可以使用applemac训练深度学习pytorch模型!!!惊呆了 安装applem1芯片版本的pytorch 然后使用chatGPT生成一个resnet101的训练代码,这里注意,如果网络特别轻的话是没有加速效果的,还没有cpu的计算来的快这里......
  • LSTM原理以及基于PyTorch的LSTM实现MNIST手写数字
    循环神经网络让神经网络有了记忆,对于序列话的数据,循环神经网络能达到更好的效果.我们将图片数据看成一个时间上的连续数据,每一行的像素点都是这个时刻的输入,读完整张图片就是从上而下的读完了每行的像素点.然后我们就可以拿出RNN在最后一步的分析值判断图片是哪一类了下......
  • Python用T-SNE非线性降维技术拟合和可视化高维数据iris鸢尾花、MNIST 数据|附代码数据
    原文链接:http://tecdat.cn/?p=24002最近我们被客户要求撰写关于非线性降维技术的研究报告,包括一些图形和统计输出。T-distributedStochasticNeighborEmbedding(T-SNE)是一种可视化高维数据的工具。T-SNE基于随机邻域嵌入,是一种非线性降维技术,用于在二维或三维空间中可视化......
  • tensorflow实现mnist手写数字识别
    1.softmax函数在数学,尤其是概率论和相关领域中,归一化指数函数,或称Softmax函数,是逻辑函数的一种推广。它能将一个含任意实数的K维向量z“压缩”到另一个K维实向量σ(z)中,使得每一个元素的范围都在(0,1)之间,并且所有元素的和为1。该函数多用于多分类问题中。在多项逻辑回归和......
  • 2步打通ModelArts和Astro,实现AI应用快速落地
    摘要:本文以ModelArts的“找云宝”自动学习AI应用为例,结合低代码平台Astro轻应用快速实现一个“找云宝”小应用。本文分享自华为云社区《【我与ModelArts的故事】2步打通ModelArts和Astro实现AI应用落地》,作者:胡琦。引言随着GPT火爆全球,人工智能(AI)逐渐成为当今最......
  • 跟姥爷深度学习5 浅用卷积网络做mnist数字识别
    一、前言前面用TensorFlow浅做了一个温度预测,使用的是全连接网络,同时我们还对网上的示例做了调试和修改,使得预测结果还能看。本篇我们更进一步使用CNN(卷积)网络,不过再预测温度就有点大材小用,所以本篇是做手写数字的识别。手写数字识别是非常经典的分类问题,是入门必备的,门槛又比猫......
  • mindspore-gpu-2.0.0-alpha版本学习笔记
    使用docker容器运行:sudodockerrun-it-v/home/devil/shareData/root/shareData --runtime=nvidia--gpusall --nameUbuntu_x86_64swr.cn-south-1.myhuaweicloud.com/mindspore/mindspore-gpu-cuda11.1:2.0.0-alpha /bin/bash   ===========================......
  • 对国产AI计算框架要有一定的包容力——记“mindspore”使用过程中的“不良反应”
      看mindspore的官方文档,居然有502错误,恶心到了:  打开Eager模式的链接,报错: ......
  • MindSpore开发静态图调试记录
    主要参考资料:静态图语法支持-MindSporemasterdocumentation定位错误:报错会生成rank_0/om/analyze_fail.dat文件,按instruction定位即可#1.ThisfileshowstheparsedIRinfowhengraphevaluatingfailedtohelpfindtheproblem.#2.Youcansearchthelast`----......
  • 基于mnist手写数字数据库的深度学习网络训练和数字识别matlab仿真
    1.算法描述        MNIST数据集(MixedNationalInstituteofStandardsandTechnologydatabase)是美国国家标准与技术研究院收集整理的大型手写数字数据库,该数据集包含60000 个于训练的样本和10000 个于测试的样本,图像是固定⼤小(28x28像素),每个像素的值为......