首页 > 编程语言 >ONNX Runtime入门示例:在C#中使用ResNet50v2进行图像识别

ONNX Runtime入门示例:在C#中使用ResNet50v2进行图像识别

时间:2024-07-02 11:53:18浏览次数:15  
标签:图像识别 示例 C# ONNX 模型 var new 224 ImageSharp

ONNX Runtime简介

ONNX Runtime 是一个跨平台的推理和训练机器学习加速器。ONNX 运行时推理可以实现更快的客户体验和更低的成本,支持来自深度学习框架(如 PyTorch 和 TensorFlow/Keras)以及经典机器学习库(如 scikit-learn、LightGBM、XGBoost 等)的模型。 ONNX 运行时与不同的硬件、驱动程序和操作系统兼容,并通过利用硬件加速器(如果适用)以及图形优化和转换来提供最佳性能。

image-20240702102515184

ResNet50v2简介

ResNet50v2 是一种深度卷积神经网络架构,是 ResNet(Residual Network,残差网络)系列的一部分。ResNet 是由何凯明等人在 2015 年提出的,它通过引入残差块(Residual Block)解决了深度神经网络训练过程中梯度消失和梯度爆炸的问题,使得构建非常深的网络成为可能。ResNet50v2 被广泛应用于各种计算机视觉任务,如图像分类、目标检测、图像分割等。由于其深度和强大的特征学习能力,ResNet50v2 在众多基准测试中表现出色,是许多研究和应用中的首选模型之一。

示例

这个示例代码在

https://github.com/microsoft/onnxruntime/tree/main/csharp/sample/Microsoft.ML.OnnxRuntime.ResNet50v2Sample

fork一份,克隆到本地,在本地打开这个项目,项目结构如下所示:

image-20240702104856596

依赖的包除了OnnxRuntime还有ImageSharp。

ImageSharp简介

ImageSharp 是一个新的、功能齐全、完全托管的跨平台 2D 图形库。ImageSharp 旨在简化图像处理,为您带来一个非常强大而又非常简单的 API。

ImageSharp 从头开始设计,具有灵活性和可扩展性。该库为常见的图像处理操作提供了 API 端点,并为开发其他操作提供了构建块。

ImageSharp 针对 .NET 8 构建,可用于设备、云和嵌入式/IoT 方案。

image-20240702110059615

下载 ResNet50 v2 ONNX 模型,下载地址在:

https://github.com/onnx/models/blob/main/validated/vision/classification/resnet/model/resnet50-v2-7.onnx

读取路径

首先,源代码中是通过程序参数读取模型的路径和要测试的图像的路径,也可以直接赋值:

// Read paths
//string modelFilePath = args[0];
//string imageFilePath = args[1];
string modelFilePath = @"你的路径\Microsoft.ML.OnnxRuntime.ResNet50v2Sample\resnet50-v2-7.onnx";
string imageFilePath = @"你的路径\Microsoft.ML.OnnxRuntime.ResNet50v2Sample\狮子.jpg";

读取图像

接下来,我们将使用跨平台图像库 ImageSharp 读取图像:

 // Read image
 using Image<Rgb24> image = Image.Load<Rgb24>(imageFilePath);

调整图像大小

接下来,我们将图像大小调整为模型期望的适当大小;224 像素 x 224 像素:

using Stream imageStream = new MemoryStream();
image.Mutate(x =>
{
    x.Resize(new ResizeOptions
    {
        Size = new Size(224, 224),
        Mode = ResizeMode.Crop
    });
});
image.Save(imageStream, format);

预处理图像

接下来,我们将根据模型的要求对图像进行预处理,具体要求见:

https://github.com/onnx/models/tree/main/validated/vision/classification/resnet#preprocessing

// We use DenseTensor for multi-dimensional access to populate the image data
var mean = new[] { 0.485f, 0.456f, 0.406f };
var stddev = new[] { 0.229f, 0.224f, 0.225f };
DenseTensor<float> processedImage = new(new[] { 1, 3, 224, 224 });
image.ProcessPixelRows(accessor =>
{
    for (int y = 0; y < accessor.Height; y++)
    {
        Span<Rgb24> pixelSpan = accessor.GetRowSpan(y);
        for (int x = 0; x < accessor.Width; x++)
        {
            processedImage[0, 0, y, x] = ((pixelSpan[x].R / 255f) - mean[0]) / stddev[0];
            processedImage[0, 1, y, x] = ((pixelSpan[x].G / 255f) - mean[1]) / stddev[1];
            processedImage[0, 2, y, x] = ((pixelSpan[x].B / 255f) - mean[2]) / stddev[2];
        }
    }
});

在这里,我们正在创建一个所需大小 (batch-size, channels, height, width) 的张量,访问像素值,对其进行预处理,最后将它们分配给适当指示的张量。

设置输入

接下来,我们将创建模型的输入:

using var inputOrtValue = OrtValue.CreateTensorValueFromMemory(OrtMemoryInfo.DefaultInstance,
    processedImage.Buffer, new long[] { 1, 3, 224, 224 });

var inputs = new Dictionary<string, OrtValue>
{
    { "data", inputOrtValue }
}

要检查 ONNX 模型的输入节点名称,您可以使用 Netron 可视化模型并查看输入/输出名称。在本例中,此模型具有 data 作为输入节点名称。

运行推理

接下来,我们将创建一个推理会话并通过它运行输入:

using var session = new InferenceSession(modelFilePath);
using var runOptions = new RunOptions();
using IDisposableReadOnlyCollection<OrtValue> results = session.Run(runOptions, inputs, session.OutputNames);

后处理输出

接下来,我们需要对输出进行后处理以获得 softmax 向量,因为这不是由模型本身处理的:

var output = results[0].GetTensorDataAsSpan<float>().ToArray();
float sum = output.Sum(x => (float)Math.Exp(x));
IEnumerable<float> softmax = output.Select(x => (float)Math.Exp(x) / sum);

其他型号可能会在输出之前应用 Softmax 节点,在这种情况下,您不需要此步骤。同样,您可以使用 Netron 查看模型输出。

提取前10个预测结果

IEnumerable<Prediction> top10 = softmax.Select((x, i) => new Prediction { Label = LabelMap.Labels[i], Confidence = x })
                   .OrderByDescending(x => x.Confidence)
                   .Take(10);

打印结果

Console.WriteLine("Top 10 predictions for ResNet50 v2...");
Console.WriteLine("--------------------------------------------------------------");
foreach (var t in top10)
{
    Console.WriteLine($"Label: {t.Label}, Confidence: {t.Confidence}");
}

本例的示例图片是一只狮子,如下所示:

image-20240702111735749

查看预测结果:

image-20240702111809588

在LabelMap类中可以查看该模型可以识别的物体:

image-20240702112145665

例如cock是公鸡的意思,我们可以现场找一张公鸡的图片,查看效果。

找到的一张公鸡图片如下所示:

image-20240702112326619

修改测试图片为这种图片,再次运行,结果如下所示:

image-20240702112443090

成功识别出了公鸡。

总结

以上就完成了ONNX Runtime的入门示例,可以根据兴趣与需求尝试使用其他的模型。

参考

1、Image recognition with ResNet50v2 in C# | onnxruntime

2、models/validated/vision/classification/resnet/model/resnet50-v2-7.onnx at main · onnx/models (github.com)

3、microsoft/onnxruntime: ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator (github.com)

4、SixLabors/ImageSharp:

标签:图像识别,示例,C#,ONNX,模型,var,new,224,ImageSharp
From: https://www.cnblogs.com/mingupupu/p/18279640

相关文章

  • LeetCode 2097. Valid Arrangement of Pairs
    原题链接在这里:https://leetcode.com/problems/valid-arrangement-of-pairs/description/题目:Youaregivena 0-indexed 2Dintegerarray pairs where pairs[i]=[starti,endi].Anarrangementof pairs is valid ifforeveryindex i where 1<=i<pairs.l......
  • C# HttpWebRequest 各种请求方式汇总
    GET//直接返回字符串publicstaticstringGets(stringurl,JObjectheaders){stringresult="";HttpWebRequestreq=(HttpWebRequest)WebRequest.Create(url);req.Method="Get";if(headers!=null){IEnumerable&......
  • TypeScript中,如何利用数组生成一个联合类型
    本文由ChatMoney团队出品在开发中我们常常会遇到这样一个问题,代码如下:constarr=["a","b","c","d","e","f","g","h","i","j","k","l&qu......
  • IntelliJ IDEA java maven项目读取配置文件信息 java.util.ResourceBundle 方式
    一、在main目录下新建resources目录并将其设为资源文件目录  创建config.properties文件二、在pom.xml中添加下面代码 只这样打包后jar才能有配置文件<resources><resource><filtering>true</filtering><directory>src/main/......
  • ASP.NET Core 添加MIME类型
    原文链接:https://blog.csdn.net/qq_37413562/article/details/102945195ASP.NETCore添加MIME类型   FileExtensionContentTypeProviderFileExtensionContentTypeProvider和ASP.NET在web.config中添加不同,ASP.NETCore添加MIME类型需要通过FileExtensionContentTypeProvid......
  • webpack概念
    总体简单来说:Webpack通过内部的事件流机制,保证了插件的有序性Webpack底层利用了发布订阅模式,在运行过程中会广播事件Webpack插件只需要监听它所关心的事件,在特定的时机对资源做处理站在代码逻辑的角度:Webpack在编译过代码程中,会触发一系列Tapable钩子事件插件需......
  • Codeforces Round 941 (Div. 2) cf 941 div2 A~D
    每题都有AC代码在伸缩代码框请留意!!A.CardExchange-------------------------------------------题解----------------------------------选择任意K张相同的牌替换成k-1张任意的牌,也就是说只要有一组牌相同的数量大于k就可以获得最大k-1相同的其他牌,按照这个策略便可以替换掉......
  • 【打卡】003 p3 Pytorch实现天气识别
    打卡~555我的环境:●语言环境:Python ●编译器:jupyternotebook●深度学习环境:Pytorch>-**......
  • CH02_JS变量和数据类型
    第2章:JS中的变量和数据类型本章目标掌握变量的概念掌握如何使用变量掌握javascript中的数据类型课程回顾js的三种使用方式?js的注释有那些?讲解内容1.为什么要使用变量?问题:人类是靠什么要记忆(记录数据)?大脑、作笔记等问题:计算机如果要保存数据,靠什么来保存?硬件......
  • CH01_初识JavaScript
    第1章:初识JavaScript编程语言本章目标了解为什么要学习JavaScipt编程语言掌握JS的基本结构掌握JS的执行原理掌握JS的基本语法结构掌握JS的几种输出方式掌握JS的注释课程回顾什么是HTML?HTML的标签分为块级元素和行级元素,他们的区别是什么?HTML的表单元素有那些?HTML的列表......