首页 > 其他分享 >onnx模型部署(一) ONNXRuntime

onnx模型部署(一) ONNXRuntime

时间:2023-01-25 21:01:14浏览次数:64  
标签:name ONNXRuntime onnx 模型 JVM ONNX input 格式


    通常我们在训练模型时可以使用很多不同的框架,比如有的同学喜欢用 Pytorch,有的同学喜欢使用 TensorFLow,也有的喜欢 MXNet,以及深度学习最开始流行的 Caffe等等,这样不同的训练框架就导致了产生不同的模型结果包,在模型进行部署推理时就需要不同的依赖库,而且同一个框架比如tensorflow 不同的版本之间的差异较大, 为了解决这个混乱问题, ​​LF AI​​ 这个组织联合 Facebook, MicroSoft等公司制定了机器学习模型的标准,这个标准叫做ONNX, Open Neural Network Exchage,所有其他框架产生的模型包 (.pth, .pb) 都可以转换成这个标准格式,转换成这个标准格式后,就可以使用统一的 ONNX Runtime等工具进行统一部署。

    这其实可以和 JVM 对比,
A Java virtual machine (JVM) is a virtual machine that enables a computer to run Java programs as well as programs written in other languages that are also compiled to Java bytecode. The JVM is detailed by a specification that formally describes what is required in a JVM implementation. Having a specification ensures interoperability of Java programs across different implementations so that program authors using the Java Development Kit (JDK) need not worry about idiosyncrasies of the underlying hardware platform.

JAVA中有 JAVA 语言 + .jar 包 + JVM,同时还有其他的语言比如 Scala等也是建立在 JVM上运行的,因此不同的语言只要都最后将程序转换成 JVM可以统一识别的格式,就可以在统一的跨平台 JVM JAVA 虚拟机上运行。这里JVM使用的 包是二进制包,因此里面的内容是不可知的,人类难以直观理解的。

这里 ONNX 标准采取了谷歌开发 protocal buffers 作为格式标准,这个格式是在 XML, json的基础上发展的,是一个人类易理解的格式。ONNX 官网对ONNX的介绍如下:
ONNX defines a common set of operators - the building blocks of machine learning and deep learning models - and a common file format to enable AI developers to use models with a variety of frameworks, tools, runtimes, and compilers.
ONNX支持的模型来源,基本上囊括了我们日常使用的所有框架:

onnx模型部署(一) ONNXRuntime_人工智能


ONNX的文件格式,采用的是谷歌的 protocal buffers,和 caffe采用的一致。

onnx模型部署(一) ONNXRuntime_Java_02


ONNX定义的数据类包括了我们常用的数据类型,用来定义模型中的输出输出格式

onnx模型部署(一) ONNXRuntime_深度学习_03


ONNX中定义了很多我们常用的节点,比如 Conv,ReLU,BN, maxpool等等约124种,同时也在不停地更新中,当遇到自带节点库中没有的节点时,我们也可以自己写一个节点

onnx模型部署(一) ONNXRuntime_JVM_04


有了输入输出,以及计算节点,就可以根据 pytorch框架中的 forward 记录一张模型从输入图片到输出的计算图,ONNX 就是将这张计算图用标准的格式存储下来了,可以通过一个工具 Netron对 ONNX 进行可视化,如第一张图右侧所示;

保存成统一的 ONNX 格式后,就可以使用统一的运行平台来进行 inference。

pytorch原生支持 ONNX 格式转码,下面是实例:

1. 将pytorch模型转换为onnx格式,直接傻瓜式调用 torch.onnx.export(model, input, output_name)

import torch
from torchvision import models

net = models.resnet.resnet18(pretrained=True)
dummpy_input = torch.randn(1,3,224,224)
torch.onnx.export(net, dummpy_input, 'resnet18.onnx')

2. 对生成的 onnx 进行查看

import onnx

# Load the ONNX model
model = onnx.load("resnet18.onnx")

# Check that the IR is well formed
onnx.checker.check_model(model)

# Print a human readable representation of the graph
print(onnx.helper.printable_graph(model.graph))
  1. ONNX Runtime
    支持ONNX的runtime就是类似于JVM将统一的ONNX格式的模型包运行起来,包括对ONNX 模型进行解读,优化(融合conv-bn等操作),运行。

onnx模型部署(一) ONNXRuntime_深度学习_05


推理

import onnxruntime as rt
import numpy as np
data = np.array(np.random.randn(1,3,224,224))
sess = rt.InferenceSession('resnet18.onnx')
input_name = sess.get_inputs()[0].name
label_name = sess.get_outputs()[0].name

pred_onx = sess.run([label_name], {input_name:data.astype(np.float32)})[0]
print(pred_onx)
print(np.argmax(pred_onx)

完整代码

import torch
from torchvision import models

net = models.resnet.resnet18(pretrained=True)
dummpy_input = torch.randn(1,3,224,224)
torch.onnx.export(net, dummpy_input, 'resnet18.onnx')

import onnx

# Load the ONNX model
model = onnx.load("resnet18.onnx")

# Check that the IR is well formed
onnx.checker.check_model(model)

# Print a human readable representation of the graph
print(onnx.helper.printable_graph(model.graph))


import onnxruntime as rt
import numpy as np
data = np.array(np.random.randn(1,3,224,224))
sess = rt.InferenceSession('resnet18.onnx')
input_name = sess.get_inputs()[0].name
label_name = sess.get_outputs()[0].name

pred_onx = sess.run([label_name], {input_name:data.astype(np.float32)})[0]
print(pred_onx)
print(np.argmax(pred_onx))


标签:name,ONNXRuntime,onnx,模型,JVM,ONNX,input,格式
From: https://blog.51cto.com/u_15202985/6022908

相关文章

  • Tekton的概念模型
    Tekton的主要功能是实现持续集成和交付部署。TektonPipeline是其核心组件,其他组件都是建立在TektonPipeline之上的。1Step、Task和PipelineStep(步骤)是CI/CD工作流中最......
  • 设备管理模型
    设备管理模型是在Kubernetes已有的资源管理模型基础上,增加设备资源管理模型。本节将从设备资源管理模型和设备资源管理流程两个维度进行系统梳理和分析,具体如下所示。 ......
  • 数据库系统(上)——模型与语言 讨论答案
    课程里面讨论的问题都特别有趣,第一章是明确为什么需要学习数据库,为什么学习数据库,学习数据库哪些东西,然后是每章的重要知识点,用于巩固学到的知识,有一个有趣的现象,当你很认......
  • yolov7 tensorrt模型加速部署【实战】
    0.linux环境配置基于tensorrt+cudac++实现模型end2end的gpu加速,支持win10、linux,在2023年已经更新模型:YOLOv8,YOLOv7,YOLOv6,YOLOv5,YOLOv4,YOLOv3,YOLOX,YOLOR,......
  • flex布局 -- 弹性盒模型
    flex布局--弹性盒模型display:flex;就会让其变成弹性盒子当把一个元素的display属性设置为flex或者inline-flex后,它就成了一个容器。flex与inline-flex......
  • PyTorch图像分类全流程实战--迁移学习训练图像分类模型03
    教程同济子豪兄:https://space.bilibili.com/1900783斯坦福CS231N【迁移学习】中文精讲:https://www.bilibili.com/video/BV1K7411W7So斯坦福CS231N【迁移学习】官方笔记:h......
  • 【实战】yolov8 tensorrt模型加速部署
    【实战】yolov8tensorrt模型加速部署TensorRT-Alpha基于tensorrt+cudac++实现模型end2end的gpu加速,支持win10、linux,在2023年已经更新模型:YOLOv8,YOLOv7,YOLOv6,YOLO......
  • 机器学习算法-有监督学习的定义与模型
    有监督学习的定义与模型 机器学习的算法可以分为以下三类:有监督学习(SupervisedLearning):有预测目标Y,通过X预测Y无监督学习(UnsupervisedLearning):没有Y,只通过X......
  • Informer源码学习记录之 "模型搭建build_model"
    一、初始化1.代码结构main_informer.py:  exp=Exp(args)#setexperimentsexp_basic.py:classExp_Informer(E......
  • Linux 通过信号量semaphore实现生产者消费者模型
    #include<stdio.h>#include<unistd.h>#include<stdlib.h>#include<semaphore.h>#include<pthread.h>#defineN5voidsys_err(constchar*msg){}//定......