应用开发深入讲解之模型离线推理
模型离线推理是指使用已经转好的om模型对输入图片进行推理，主要步骤如下图所示：
1.Host&Device内存管理与数据传输
Host&Device上的内存申请与释放，内存间的相互拷贝。
代码中加载输入数据时，需要申请Host内存进行存储，当输入数据处理完毕后，需要将处理完成的数据从Host内存拷贝 到Device的模型输入内存中，以便于Device进行模型推理的专用计算。
2.模型加载
将离线的om文件加载到Device上。
模型加载支持多种加载方式，由用户根据需求选择从om模型文件或内存加载模型数据、选择由用户自行管理内存或由AscendCL管理内存。而不管用哪种接口，最终卸载时接口都是统一的。
3.模型输入输出准备
根据离线om的输入输出，在Deⅵce上申请好模型的输入输出内存。
4.执行推理
当模型的输入内存获取到有效数据后，便可以调用AscendCL接口执行模型推理，推理完成后结果生成到输出内存中；在样例的模型推理模块中进行。
5.输出解析：使用AscendCL接口，将模型输出数据从特定格式中解析出来；在输出数据处理模块中进行。
标签：CANN,模型,离线,内存,2023,Device,推理,加载 From： https://blog.51cto.com/u_14125503/6372322