首页 > 其他分享 >识别速度3.6ms/帧!人像抠图、工业质检、遥感识别,用这一个分割模型就够了

识别速度3.6ms/帧!人像抠图、工业质检、遥感识别,用这一个分割模型就够了

时间:2022-12-12 12:36:53浏览次数:64  
标签:LiteSeg PP 就够 3.6 算法 模块 速度 识别 精度

支撑影视人像抠图、医疗影像分析、自动驾驶感知等万亿级市场背后的核心技术是什么?那就要说到顶顶重要的图像分割技术。相比目标检测、图像分类等技术,图像分割需要将每个像素点进行分类,在精细的图像识别任务中不可替代,也是智能视觉算法工程师拥有关键核心竞争力的关键!

识别速度3.6ms/帧!人像抠图、工业质检、遥感识别,用这一个分割模型就够了_github

图1 图像分割应用​


正因如此,DeepLabv3、OCRNet、BiseNetv2、Fast-SCNN等优秀算法层出不穷,然而在实际产业落地过程中往往需要综合考虑硬件性能、精度等多方面因素,对算法的需求也是苛刻的。往往业界算法在保障高识别精度的情况下,就会牺牲算法运行速度;反之追求速度,则会带来精度的大幅度损失。


识别速度3.6ms/帧!人像抠图、工业质检、遥感识别,用这一个分割模型就够了_图像分割_02

图2 各算法速度与精度平衡情况示意​


如何能同时实现速度和精度的均衡,在当前云、边、端多场景协同的产业大趋势下高标准满足产业需求,是各届研究人员致力投入的方向。


PP-LiteSeg就是这样一个同时兼顾精度与速度的SOTA(业界最佳)语义分割模型。它基于Cityscapes数据集,在1080ti上精度为mIoU 72.0时,速度高达273.6 FPS , (mIoU 77.5 时,FPS为102.6),超越现有CVPR SOTA模型STDC,真正实现了精度和速度的SOTA均衡。


识别速度3.6ms/帧!人像抠图、工业质检、遥感识别,用这一个分割模型就够了_github_03

图3 PP-LiteSeg精度/速度说明​


空口无凭,欢迎优秀的你直接试用! (记得Star收藏跟进最新状态)

传送门:

​https://github.com/PaddlePaddle/PaddleSeg​


识别速度3.6ms/帧!人像抠图、工业质检、遥感识别,用这一个分割模型就够了_github_04



更值得令人惊喜的是,PP-LiteSeg不仅在开源数据集评测效果优秀,在产业数据集也表现出了惊人的实力!例如在质检、遥感场景,PP-LiteSeg的精度与高精度、大体积的OCRNet持平,而速度却快了近7倍!!!


识别速度3.6ms/帧!人像抠图、工业质检、遥感识别,用这一个分割模型就够了_图像分割_05


识别速度3.6ms/帧!人像抠图、工业质检、遥感识别,用这一个分割模型就够了_github_06

图4 PP-LiteSeg和OCRNet在某工业质检数据集识别情况对比


识别速度3.6ms/帧!人像抠图、工业质检、遥感识别,用这一个分割模型就够了_数据集_07

图4 PP-LiteSeg和OCRNet在deepglobe数据集识别情况对比




那PP-LiteSeg为何可以拥有这么优秀的效果呢?

PP-LiteSeg提出三个创新模块:灵活的解码模块(FLD)、注意力融合模块(UAFM)、简易金字塔池化模块(SPPM)。FLD灵活调整解码模块中通道数,平衡编码模块和解码模块的计算量,使得整个模型更加高效;UAFM模块效地加强特征表示,更好地提升了模型的精度;SPPM模块减小了中间特征图的通道数、移除了跳跃连接,使得模型性能进一步提升。


识别速度3.6ms/帧!人像抠图、工业质检、遥感识别,用这一个分割模型就够了_github_08

图5 PP-LiteSeg 模型结构和优化点





正是基于这些模块的设计与改进,最终PP-LiteSeg超越其他方法,在1080ti上精度为mIoU 72.0时,速度高达273.6 FPS , (mIoU 77.5 时,FPS为102.6),实现了精度和速度的SOTA平衡。更多关于PP-LiteSeg的内容,请参考:

​https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.5/configs/pp_liteseg​




标签:LiteSeg,PP,就够,3.6,算法,模块,速度,识别,精度
From: https://blog.51cto.com/u_14439393/5929367

相关文章

  • 多领域中文语音识别数据集 WenetSpeech 正式发布——有效下载教程
    声明:作为全网AI领域干货最多的博主之一,❤️不负光阴不负卿❤️❤️​​专栏:AI领域数据资源整理​​❤️之【有效拒绝假数据】​​????Followme????​​,一起Get更多......
  • 10:Java人脸识别认证-Java API 实战
    (目录)1.提出问题,引入SDK的概念什么是SDK?我们并不具备开发人脸识别的能力,但我们可以用大公司已经开发好的工具或者功能,来实现人脸识别,而大公司提供的就叫SDK(Software......
  • es6新特性------学好类(class)这一篇就够了
    OverridetheentrypointofanimageIntroducedinGitLabandGitLabRunner9.4.Readmoreaboutthe extendedconfigurationoptions.Beforeexplainingtheav......
  • 面试大厂 看这篇MySQL面试题就够了
    MySQL一直是面试中的热点问题,也难道了很多的面试者。其实MySQL没那么难,只是大家没有系统化、实战性的过去学习、总结。同时很多开发者在实际的开发过程中也很少去接触一些偏......
  • Android GestureDetector手势识别类
    为了加强鼠标响应事件,Android提供了GestureDetector手势识别类。通过​​GestureDetector.OnGestureListener​​来获取当前被触发的操作手势(SingleTapUp、ShowPress、Lo......
  • 利用JNI加载paddle-ocr进行ocr识别
    利用JNI加载paddle-ocr进行ocr识别项目地址:https://github.com/jiangnanboy/java-springboot-paddleocr-v2TableofContentsAboutGettingStartedResultContactRef......
  • 作为程序员,我们应该能够识别的表象和本质
    你好,我是陈皓,网名左耳朵耗子。前两天,我以前在亚马逊(Amazon)团队的一个小伙伴从西雅图打来电话,和我主要聊了一下他最近的一些想法和动向。他在最近几个月面试了很多美国的本......
  • QT 无法识别某些字体导致程序启动失败
    有用户反馈启动程序时,没有出现UI界面,程序跟“闪退了一样”,查看日志,没有发现闪退或者报错异常,后面远程用户电脑并尝试解决研究分析:在用户电脑上运行debug包,会出现qt.......
  • Springcloud不能识别bootstrap配置文件
    方法一:引用spring-cloud-starter-bootstrap包(推荐)<dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-bootstrap</ar......
  • 利用高分五号02星高光谱数据进行地物识别
    高分五号02星搭载了一台60公里幅宽、330谱段、30米分辨率的可见短波红外高光谱相机(AHSI),可见近红外(400~1000nm)和短波红外光谱(1000~2500nm)分辨率分别达到5纳米和10纳米。单看......