1.引言
工业视觉缺陷检测系统是一种利用计算机视觉技术，通过分析生产过程中的图像和视频数据，来检测工业产品是否存在缺陷或质量问题的系统。有幸参加Aidlux的11月份的训练营<<工业视觉少样本缺陷检测实战>>，在这个过程中我收获到了很多之前没有接触到的算法和实践。本次课程利用Unet模型进行目标分割，并基于AidLux平台完成本地终端部署推理，以满足工业生产中对产品质量控制的需求。
2. 项目实战
在本项目中，AidLux提供了一套完整的模型部署代码，该代码包括了多个关键步骤，如模型加载、图像预处理、推理过程、后处理和结果保存等。这些代码以Python为基础，并借助相关的第三方库，旨在支持各种工业应用场景中的模型部署需求。
具体而言，给出的部署代码具有以下特点：
-
模型加载： 部署代码能够轻松加载TFLite模型，确保在不同平台上实现无缝的模型部署。
-
图像预处理： 部署代码包括图像预处理步骤，以确保输入图像与模型的期望输入格式一致。这有助于提高模型的准确性和稳定性。
-
推理过程： 同时我们的代码实现了高效的推理过程，能够在实时性要求下完成缺陷检测任务。这对于工业应用中的快速响应至关重要。
-
后处理： 模型输出需要进行后处理，以解析检测结果并执行进一步的操作。我们的代码包括了这一关键步骤，以确保输出结果的准确性。
-
结果保存： 最终，我们的代码能够将检测结果保存到指定位置，以便后续分析和记录。
此外，我们的模型部署系统非常小巧，易于迁移，并具有出色的环境耐受性。这意味着我们的系统可以适应各种工业环境，无论是在车间、生产线还是其他现场场景中，都能够可靠运行。
2.1. 模型转换
在成功将pt模型文件导出为onnx模型文件后，接下来的关键步骤是使用Aidlux平台自带的AI Model Optimizer平台将onnx模型转换为TFLite（TensorFlow Lite）和DLC（Deep Learning Container）模型，以便在不同的平台上进行部署和推理。
通过这些模型转换步骤，我们能够确保我们的模型在不同的部署环境中都能够顺利运行，并且能够高效地完成工业视觉缺陷检测任务。这也为我们提供了更多的灵活性，以适应不同的应用需求。
AIMO网站： http://aimo.aidlux.com/
试用账号和密码： 账号：AIMOTC001 ，密码：AIMOTC001
2.2. 模型代码部署
tflite_inference.py
# -*- coding: UTF-8 -*-
import aidlite_gpu
import cv2
import os
import time
import numpy as np
from PIL import Image
import matplotlib.pyplot as plt
def mask_to_image(mask: np.ndarray):
if mask.ndim == 2:
return Image.fromarray((mask * 255).astype(np.uint8))
elif mask.ndim == 3:
return Image.fromarray((np.argmax(mask, axis=0) * 255 / mask.shape[0]).astype(np.uint8))
def aidlux_tflite_infer(model_path, img_path, save_path):
# step1: 初始化aidlite类并创建aidlite对象
aidlite = aidlite_gpu.aidlite()
print('model initial success!!')
# step2: 加载模型
inp_shape = [256*256*1*4]
out_shape = [256*256*2*4]
value = aidlite.ANNModel(model_path, inp_shape, out_shape, 4, 0)
# step3: 传入模型输入数据
img = cv2.imread(img_path, 0)
img = cv2.resize(img, (256, 256))
img = img[np.newaxis, ...]
img = img / 255.0
img = np.expand_dims(img, axis=0)
img = img.astype(dtype=np.float32)
print("image shape is ", img.shape)
aidlite.setInput_Float32(img)
# step4: 执行推理
start = time.time()
aidlite.invoke()
end = time.time()
print("infer time(ms):{0}", 1000 * (end - start))
# step5: 获取输出
pred = aidlite.getOutput_Float32(0)
# step6: 后处理
pred = np.array(pred)
pred = np.reshape(pred,(2,256,256))
mask_img = mask_to_image(pred)
mask_img.save(save_path)
# mask_img = np.array(mask_img)
# cv2.imshow('mask_img', mask_img)
# cv2.waitKey(0)
# cv2.destroyAllWindows()
if __name__ == '__main__':
model_path = "/home/zhongtai/dataset2aidlux/unetmodel_fp32.tflite"
img_path = "/home/zhongtai/dataset2aidlux/test_imgs/0587.PNG"
save_path = '/home/zhongtai/dataset2aidlux/test_imgs/result_0587.png'
aidlux_tflite_infer(model_path, img_path, save_path)
2.3.实验和验证
模型部署在安装了AidLux应用的Andriod手机上，进行了一系列实验和验证，以验证系统在实际工业生产中的性能和准确性。这些实验包括模型格式的转换、VSCode的SSH远程连接AidLux、对test文件夹内的照片进行预测，并保存预测结果的照片。
https://www.bilibili.com/video/BV1eG411Y7ha/?vd_source=1eedca4ba38e6ff0c1ed9e366feef663