首页 > 其他分享 >检测一切!Grounding DINO 1.5:最强开集目标检测模型

检测一切!Grounding DINO 1.5:最强开集目标检测模型

时间:2024-05-28 13:22:35浏览次数:24  
标签:1.5 开集 DINO 检测 Pro Edge Grounding 模型

前言 目标检测领域,迎来了新进展——Grounding DINO 1.5,IDEA研究院团队出品,在端侧就可实现实时识别。

欢迎关注公众号CV技术指南,专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

本文转载自量子位

仅用于学术分享,若侵权请联系删除

CV方向的准研究生们,未来三年如何度过?

招聘高光谱图像、语义分割、diffusion等方向论文指导老师

这一进展获得AI大佬沈向洋转发,他一般都是一年一转的节奏。

此次发布主要有两个版本:Pro和Edge。Pro版更强,Edge版更快。

它仍然保留了上一个版本Grounding DINO双编码器-单解码器结构,在此基础上通过结合更大的视觉 backbone 扩大模型尺寸,并使用超过2000万的Grounding 数据获得了丰富的语料,大幅提升了检测精度和速度,且通过Pro和Edge版本分别针对不同应用场景进行了优化。

Pro版本在大规模数据集构建和高精度需求场景中表现卓越,而Edge版本则在端侧部署中展示了其独特的优势。

这就来分别看一看。

Pro版目标检测新SOTA

Grounding DINO 1.5 Pro版本实现了当前开集目标检测SOTA水平,在图像和文本的语义理解上表现出色,能够快速、准确地根据语言提示检测和识别图像中的目标对象。

△在COCO、LVIS、ODinW35和ODinW13基准测试中的零样本迁移性能对比

物体级别理解是机器和物理世界交互的感知基础,也是解决多模态大模型(VLM)幻觉问题绕不过去的基础问题。

作为当前性能最好的开集检测模型,Grounding DINO 1.5 Pro 可以帮助构建海量的具有物体级别语义信息的多模态数据,从而有效地助力多模态大模型的训练。

它可以将长文本描述中的短语与图像中的具体对象或场景精确匹配,以增强AI对视觉内容和文本之间关系的理解

另外,在其他需要处理大量复杂数据的领域,如电商、社交媒体和自动驾驶等,Grounding DINO 1.5 Pro 也具有强大应用价值。

例如,在电商领域,该模型可以帮助快速标注商品图像,优化搜索和推荐系统。在社交媒体中,该模型能自动标注用户上传的图片,提升内容审核和分类的效率。

支持行业数据微调

除此之外,Pro版还支持通过行业数据进行微调(fine tuning),以满足各行业的特定需求,从而达到更加精准的识别效果。

为了验证微调带来的提升,CVR团队在视觉领域通用的LVIS等公开数据集上进行了对比实验。

从最后两行可看出,Grounding DINO 1.5 Pro经过微调,在多个数据集上都展现出大幅的性能提升。

而在多个实际场景,也十分适配。

像在医疗领域,通过微调后的Grounding DINO 1.5 Pro可以更准确地识别医疗影像中的病灶,辅助医生进行诊断,提高诊疗效率。

在零售行业,微调后的模型能更精准地识别和分类商品,有助于库存管理和销售分析。

Edge版端侧可部署

在端侧部署方面,Grounding DINO 1.5 Edge版本通过模型结构优化,成功部署在NVIDIA Orin NX卡上,并实现了10FPS的推理速度。

动图封面  

再者,它可以让机器人和开放环境进行交互。

动图封面  

在自动驾驶领域,Grounding DINO 1.5 Edge未来可以在车辆上实时运行,实现高效的目标检测和环境感知,提高驾驶安全性。在智能安防中,该模型能快速处理视频监控数据,实时检测异常行为,提升安全监控的响应速度。

未来,Grounding DINO 1.5 Edge的运行速度有望提升至20到30FPS,进一步扩大其在边缘计算领域的应用范围。

论文链接:
https://arxiv.org/abs/2405.10300
项目试玩链接:
https://deepdataspace.com/playground/grounding_dino

 

欢迎关注公众号CV技术指南,专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

计算机视觉入门1v3辅导班

【技术文档】《从零搭建pytorch模型教程》122页PDF下载

QQ交流群:470899183。群内有大佬负责解答大家的日常学习、科研、代码问题。

其它文章

分享一个CV知识库,上千篇文章、专栏,CV所有资料都在这了

明年毕业,还不知道怎么做毕设的请抓紧机会了

LSKA注意力 | 重新思考和设计大卷积核注意力,性能优于ConvNeXt、SWin、RepLKNet以及VAN

CVPR 2023 | TinyMIM:微软亚洲研究院用知识蒸馏改进小型ViT

ICCV2023|涨点神器!目标检测蒸馏学习新方法,浙大、海康威视等提出

ICCV 2023 Oral | 突破性图像融合与分割研究:全时多模态基准与多交互特征学习

听我说,Transformer它就是个支持向量机

HDRUNet | 深圳先进院董超团队提出带降噪与反量化功能的单帧HDR重建算法

南科大提出ORCTrack | 解决DeepSORT等跟踪方法的遮挡问题,即插即用真的很香

1800亿参数,世界顶级开源大模型Falcon官宣!碾压LLaMA 2,性能直逼GPT-4

SAM-Med2D:打破自然图像与医学图像的领域鸿沟,医疗版 SAM 开源了!

GhostSR|针对图像超分的特征冗余,华为诺亚&北大联合提出GhostSR

Meta推出像素级动作追踪模型,简易版在线可玩 | GitHub 1.4K星

CSUNet | 完美缝合Transformer和CNN,性能达到UNet家族的巅峰!

AI最全资料汇总 | 基础入门、技术前沿、工业应用、部署框架、实战教程学习

计算机视觉入门1v3辅导班

计算机视觉交流群

标签:1.5,开集,DINO,检测,Pro,Edge,Grounding,模型
From: https://www.cnblogs.com/wxkang/p/18217770

相关文章

  • 【动手学PaddleX】谁都能学会的基于迁移学习的老人摔倒目标检测
    本项目使用PaddleX搭建目标检测模块,在一个精选的数据集上进行初步训练,并在另一个老年人跌倒检测的数据集上进行参数微调,实现了迁移学习的目标检测项目。1.项目介绍迁移学习是非常有用的方法,在实际生活中由于场景多样,环境复杂,一些场景复杂或者人体姿态不一的数据集较少,因此直......
  • FolkMQ v1.5.1 发布(“新式” 国产消息中间件)
    FolkMQ是个“新式”的消息中间件。强调:“小而巧”、“简而强”。功能简表角色功能生产者(客户端)发布普通消息、Qos0消息、定时消息、顺序消息、可过期消息、事务消息、广播消息消费者(客户端)订阅、取消订阅。消费-ACK(自动、手动)服务端发布-Confirm、订......
  • 在 Inno Setup 中检测 .NET 5 / .NET Core 运行环境是否存在
    为了将.NET5/.NETCore应用程序部署到客户机,我们可以编写InnoSetup代码来判断客户机是否安装了必要的运行环境。.NET官方仓库 中提供了一个名为 NetCoreCheck 的项目,可以用于检测指定的.NET5/.NETCore环境是否存在。编译好的文件可以从以下两个地址下载:文件......
  • 一例APP绕过root检测解密
    一例APP绕过root检测解密前言最近在分析一款app时遇见了root检测,数据包加密,花了时间简单研究了一下,记录下学习的过程。 抛出问题打开app发现提示检测到设备为root设备,闪退。能看到提示,推测应该是java层的检测。拖进jadx发现是加固的。通过frida绕过检测java层常见......
  • app上架国内应用商城合规检测、隐私合规检测
    1.工具准备camile代码(python)gitclonehttps://github.com/zhengjim/camille.git模拟器(夜神模拟器/Mumu模拟器)mumu模擬器:127.0.0.1:7555夜神模擬器:127.0.0.1:62001FridaFirda是一款易用的跨平Hook工具,Java层到Native层的Hook无所不能,是一种动态的插桩工......
  • 基于yolov2深度学习网络的单人口罩佩戴检测和人脸定位算法matlab仿真
    1.算法运行效果图预览   2.算法运行软件版本MATLAB2022A 3.算法理论概述      基于YOLOv2(YouOnlyLookOnceversion2)深度学习网络的单人口罩佩戴检测和人脸定位算法是一种结合了目标检测与特征识别的综合性解决方案,主要用于自动检测图像或视频中人物......
  • 【语音处理】语音信号时域频域分析,降噪滤波,端点检测,特征提取附Matlab代码
     ✅作者简介:热爱科研的Matlab仿真开发者,修心和技术同步精进,代码获取、论文复现及科研仿真合作可私信。......
  • 【语音处理】语音信号时域频域分析,降噪滤波,端点检测,特征提取附Matlab代码
     ✅作者简介:热爱科研的Matlab仿真开发者,修心和技术同步精进,代码获取、论文复现及科研仿真合作可私信。......
  • Yolov5——训练目标检测模型详解(含完整源码)
    项目的克隆打开yolov5官网(GitHub-ultralytics/yolov5atv5.0),下载yolov5的项目:环境的安装(免额外安装CUDA和cudnn)打开anaconda的终端,创建新的名为yolov5的环境(python选择3.8版本):condacreate-nyolov5python=3.8执行如下命令,激活这个环境:condaactivateyolov5......
  • PC方格音乐v1.5.4无损音乐播放 – 一款免费无损音乐播放器
    软件介绍方格音乐(魔音Morin电脑版)是一款免费无损音乐播放器及付费歌曲无损音乐免费下载软件.方格音乐播放器采用简洁的风格设计,可以免费在线试听及下载付费歌曲,版权音乐,无损音质歌曲.方格音乐电脑版免费听歌神器支持歌曲解析功能,第三方歌单导入,歌词频谱功能,下载音乐时......