首页 > 其他分享 >大模型--稚晖君开源百万机器人真机数据集 - HPT 具身智能03--43

大模型--稚晖君开源百万机器人真机数据集 - HPT 具身智能03--43

时间:2024-12-30 23:51:41浏览次数:1  
标签:03 真机 -- AgiBot 机器人 开源 https World 数据

目录

智元机器人发布全球首个真机数据集AgiBotWorld,推动具身智能发展。已开启通用机器人商用量产,预计2024年发货量达300台。创始人稚晖君秉持开源理念,已多次开源技术,加速通用人工智能新时代到来。

1. 参考

稚晖君开源百万机器人真机数据集
人形机器人百万真机数据集全球首次开源 具身智能迎来GPT时刻

2. AgiBot World 数据集

该项目由稚晖君具身智能创业项目智元机器人,携手上海AI Lab、国家地方共建人形机器人创新中心以及上海库帕思联合发布。

其他数据集:

  • 比如谷歌DeepMind曾构建过Open X-Embodiment数据集,数据整合自22种不同本体的机器人。
    但其中大部分数据缺乏统一标准化的采集流程,且许多用于数据采集的机器人构型已经过时,数据质量格式参差不齐
  • 又比如斯坦福、UC伯克利、谷歌等构建的DROID数据集,
    作者团队自己在后续研究中指出,DROID存在大量低质量数据,反而让机器人越学越迷茫。

Open X-Embodiment数据集,此次开源的AgiBot World长程数据规模高出10倍,场景范围覆盖面扩大100倍,数据质量从实验室级上升到工业级标准。

内容:
官方资料显示,AgiBot World数据集收录了80余种日常生活中的多样化技能
抓取、放置、推、拉等基础操作,到搅拌、折叠、熨烫精细长程双臂协同复杂交互,几乎涵盖了日常生活所需的绝大多数动作需求。

团队介绍,AgiBot World是从智元机器人自建的大规模数据采集工厂与应用实验基地中采集的,采集空间总面积超过4000平方米,包含3000多种真实物品。

为了尽可能覆盖机器人在生产、生活中的典型应用需求,为机器人提供高度真实的生产生活环境,采集环境包含超过100种真实场景、3000多种物品。

80%的任务为长程任务,时长集中在60s-150s之间,且涵盖多个原子技能,是DROIDOpenX-Embodiment工作的5倍。

家居场景:
在客厅,机器人可以精确控制机械臂抓取花材,精确定位花瓶的插孔,将花朵按计划插入适当位置。

使用清扫工具对地面进行全面清洁,包括碎屑、灰尘和液体等。

工业场景:
主要模拟分拣与物流自动化,复刻工业仓库与生产线,包括分拣系统、打包设备、传输带等。有助于训练机器人实现物料分拣、包装打包、物流搬运等。

商超场景:
这一场景下,主要高度还原超市货架布局与收银区设计,包含生鲜、日用、冷冻等多个品类区域。有助于训练机器人模拟物品上架、货物盘点、顾客引导、无人结算等。

上面所提到的AgiBot World的所有数据,都是由下面这款机器人采集的:

这张图片展示了一款名为 AGIBOT 的机器人,详细标注了其各个部分的功能和规格。以下是每个部分的详细解读:

1. Arm(手臂)

  • 7-DoF (Degrees of Freedom):手臂具有7个自由度,这意味着它可以进行复杂的多维运动。
  • Maximum Single-Arm Load: 5kg:单臂的最大负载能力为5公斤。

2. Waist(腰部)

  • DoF: Pitch / Lift:腰部有两个自由度,分别是俯仰(Pitch)和提升(Lift),这使得机器人可以调整身体的高度和角度。

3. Chassis(底盘)

  • 600 mm Clearance Space:底盘离地面的最小间隙为600毫米,确保机器人可以在不平坦的地面上行驶。
  • 750 mm In-Place Rotation:机器人可以在原地旋转750毫米,提供灵活的转向能力。
  • Active Collision Avoidance:具备主动避障功能,能够检测并避开障碍物。
  • Mapping & Localization:具备地图构建和定位功能,能够在未知环境中导航。

4. Head(头部)

  • RGBD Camera * 1 / Fisheye * 3:配备一个RGBD摄像头和三个鱼眼摄像头,用于环境感知和深度信息获取。
  • DoF: Yaw / Pitch:头部有两个自由度,分别是偏航(Yaw)和俯仰(Pitch),使得头部可以进行水平和垂直方向的转动。

5. End-Effector(末端执行器)

  • Gripper / Dexterous Hand:末端执行器可以是抓手或灵巧手,用于抓取和操作物体。
  • RGBD Camera * 1 / Fisheye * 1:配备一个RGBD摄像头和一个鱼眼摄像头,用于精确的视觉反馈。
  • Six-Axis Force:具备六轴力传感器,能够感知和控制施加在物体上的力。

6. Computing Platform(计算平台)

  • Jetson AGX Orin 64GB:采用 NVIDIA Jetson AGX Orin 计算模块,具有64GB内存,提供强大的计算能力。

7. Emergency Stop Button(紧急停止按钮)

  • 位置:位于机器人的顶部,便于快速触发紧急停止。

8. Touchscreen Display(触摸屏显示)

  • 位置:位于机器人的前部,用于人机交互和状态显示。

9. Back Sensor(后部传感器)

  • Fisheye * 2:配备两个鱼眼摄像头,用于后方环境感知。

10. Battery(电池)

  • Battery Life > 4hrs:电池续航时间超过4小时,确保长时间运行。

它具有以下几个特点:
360°感知:8个摄像头环绕式布局,实时全方位感知周围环境的动态变化。
灵巧操作:可配备具有6个主动自由度的灵巧手,保障动作精准且灵活,完成多种复杂操作。
末端精细感知:标配末端六维力传感器,并可配备高精度视触觉传感器,能够感知力的微小变化,做到“拿捏有度”。
高自由度:全身最高32个自由度,应对洗衣、做饭、分拣、搬运等复杂任务。

这次开源AgiBot World数据集,是稚晖君在三个月内的第三次开源举动。
第一次是9月底,开源了专为具身智能打造的轻量化、高性能通信框架AimRT。
上一次是10月24日(没错就是踩点1024),智元人形机器人灵犀X1全套资料全球开源,包括设计图纸和代码。

3 最后 上连接

GitHub链接:
https://github.com/OpenDriveLab/AgiBot-World

抱抱脸链接:
https://huggingface.co/agibot-world

项目主页:
https://agibot-world.com/

https://www.agibot.com/DOCS/OS

  1. Open Source Code
    Inference Code:https://github.com/AgibotTech/agibot_x1_infer
    Training Code:https://github.com/AgibotTech/agibot_x1_train

标签:03,真机,--,AgiBot,机器人,开源,https,World,数据
From: https://www.cnblogs.com/cavalier-chen/p/18642779

相关文章

  • 将复杂数据类型封装在字符串中
    希望得到一个数组或对象的字符串表示,以便存储在一个文件或数据库中。使用serialize()将变量及其值编码为一种文本形式://定义一个数组,其中包含食品名称作为键,食品数量作为值$pantry=array('sugar'=>'2lbs.','butter'=>'3sticks');//尝试以写入模式('w')打开一个名为'......
  • 一名程序员决定学点会计基础知识
    1.概述企业是一种以营利(即获取经济利润)为目的的经济组织。在会计看来,企业一辈子其实只做了三件事:经营、投资和筹资。在正常情况下,企业的经济活动是一个川流不息的过程。这一过程也是运用、分配及耗用企业经济资源的过程。由于资金是企业经济资源的货币表现形式或价值表现形式,......
  • 追光记——2024软件工程秋个人总结报告
    软件工程https://edu.cnblogs.com/campus/fzu/SE2024作业要求https://edu.cnblogs.com/campus/fzu/SE2024/homework/13315作业目标软件工程个人总结学号102201311一、学期回顾1.1SE之初印象论:大三上最难的一门课是哪个?操作系统吧,毕竟是408要求的大课......
  • 破茧蜕变——2024 秋软工实践个人总结
    破茧蜕变——2024秋软工实践个人总结学期回顾1.1课程想象与现实最初接触软件工程,幻想自己能像影视剧中编程大神一样,轻松敲代码做出炫酷软件。一学期下来,代码编写能力确实提升不少,也熟悉了项目从规划到落地的全流程,算是实现了部分期待。但软件性能优化方面还很欠缺,前期只顾功......
  • Vue-cli脚手架安装介绍
    1、安装Vue-cli可以使用npm或cnpm安装vue-cli项目构想工具#添加国内淘宝镜像加速sudonpmconfigsetregistryhttps://registry.npmmirror.com/sudonpminstall-g@vue/cli或使用#添加国内淘宝镜像加速sudonpminstall-gcnpm--registryhttps://registry.npmmirr......
  • 基于FPGA的信号发生器verilog实现,可以输出方波,脉冲波,m序列以及正弦波,可调整输出信
    1.算法运行效果图预览(完整程序运行后无水印) 输出方波   输出脉冲波 输出m随机序列   输出正弦波   2.算法运行软件版本vivado2019.2 3.部分核心程序(完整版代码包含详细中文注释和操作步骤视频)//themoduleofjuxinsignalsignal_juxs......
  • k8s开通只读权限 kubeconfig
    创建证书文件并配置#创建对应目录mkdir/data/devops/kube-read-pcd/data/devops/kube-readcp/etc/kubernetes/ssl/ca*.#创建证书文件root@172-16-160-221:/data/devops/kube-read#catca-config.json{"signing":{"default":{"ex......
  • wait、notify、notifyAll的理解与使用
    基础知识Java中,可以通过配合调用Object对象的wait()方法和notify()方法或notifyAll()方法来实现线程间的通信。在线程中调用wait()方法,将阻塞当前线程,直至等到其他线程调用了调用notify()方法或notifyAll()方法进行通知之后,当前线程才能从wait()方法出返回,继续......
  • Word软件常用技巧
    软件设置怎么在Word中设置默认以嵌入型插入图片一键直达:url......
  • Vue3 中数组和字符串的处理
    原因:想要在网页文本框中输入一个整型数组,用作Set去重测试。遇到问题:网页文本框中输入的一串内容是字符串格式的,暂且称之为“数组字符串”。解决方式:先把“数组字符串”转换成“字符串数组”格式,再转换为“整型数组”格式。定义变量首先定义一些用到的变量:数组字......