四足机器狗最新突破！只用摄像头，就能在崎岖地形灵活前进！（附论文原文下载）

原创/文 BFT机器人

近日，2022 CS Rankings全球计算机专业继续蝉联第一的卡内基梅隆大学，发表了关于四足机器狗的最新研究。

论文地址：​https://openreview.net/pdf?id=Re3NjSwf0WF​

相关视频：​https://vision-locomotion.github.io

卡内基梅隆大学附近的公园最近出现了一道引人注目的“风景线”。

这个四足机器狗，是阿加瓦尔的“新宠”，它是一个特别的机器狗。其独特性在于，它与其他严重依赖内置地图才能实现四处走动的机器狗不同，它的行动依赖于内置摄像头，以此达到计算机视觉和强化学习的作用。

阿加瓦尔是卡内基梅隆大学的一名在读博士生，他所在的研究团队开发了一种新型技术——可以让机器人利用计算机视觉和强化学习在复杂地形上行走，他们希望这项技术能够帮助机器人更方便部署到融入人们的生活之中。

技术详解

自然界的动物能够依据自身的视觉来捕捉周围环境，从而进行精确而敏捷的运动，复制动物的这项能力一直以来都是机器人领域长期追求的目标。传统的实现方法，是将这个问题分解为高程映射和立足点规划阶段。这种方法的局限在于，高程映射容易出现故障并且会受到噪音影响，并需要搭配专门的硬件。

阿加瓦尔团队研究的这项新技术，开发了一个能够穿越楼梯、路边、垫脚石和缝隙的端到端运动系统，并首次在使用单个前置深度相机的中型四足机器狗上运用了这一技术。

研究人员在模拟中训练，训练包括两个阶段。首先，使用强化学习训练一个具有廉价计算的深度图像变体的策略，然后在第 2 阶段将其提炼成使用深度学习的最终策略。由此产生的策略无需任何微调就能轻松转移到现实世界中，并且可以穿越各种地形，同时对推动、湿滑表面和岩石地形等扰动具有鲁棒性。

垫脚石和缝隙

该机器狗能够跨过各种配置的酒吧台凳，并调整步幅大小以跨过大间隙。由于后脚附近没有视野，机器狗必须记住酒吧台凳的位置并相应地放置后脚。

楼梯和路边
该机器狗能够爬上 24 厘米高、30 厘米宽的楼梯，同时爬上 26 厘米高的路边。先前的运动技术，依赖于机器人周围和下方地形的度量高程地图。这种深度图像融合成一个单一的高程图，需要不同时间的摄像机之间的相对姿势来规划脚步和关节角度。因此，在现实世界中需要使用视觉或惯性测距法跟踪以获得这种相对姿势。

(a) 机器人尺寸比较 (b) 由于尺寸形成的挑战 (c) 新出现的髋关节外展

由于四足机器狗的尺寸相对较小，即使是合理高度的障碍物也无法越过。而这项新技术可以在没有任何先验因素的情况下，穿越复杂地形，使机器人在髋关节高度为28厘米的情况下，能够穿越高度为25厘米的楼梯，相当于其自身身高的89%，显著高于任何其他依赖步态先验的现有方法。

研究人员的策略适用于在各种照明条件下的不同楼梯和路边。

在分布不均的楼梯和路缘石上，机器狗最初会被卡住，但最终能够使用紧急攀爬行为穿越它们。

非结构化地形
机器狗可以穿越不属于其训练类别之一的非结构化地形。这显示了新技术系统的泛化能力。

黑暗中的运动
深度相机使用红外光投射图案，即使在几乎没有环境光的情况下也能准确估计深度。

鲁棒性
机器狗训练有素的策略对大力量（从高处投掷 5 公斤重物）和湿滑表面（水倒在塑料布上）具有鲁棒性。

但也有失败案例
机器人狗从高路边掉下来，由于倾角太大，没有自上而下的摄像头和前置摄像头指向正前方，无法从前置摄像头看到它的范围，机器狗从路边高处台阶掉了下来。

由于从记忆中检索凳子位置错误，机器狗后腿踩到了缺口（相机只能看到前面的凳子）。这是也是研究人员在不同凳子配置的 16 次运行中，观察到的唯一一次失败运行。

加州大学伯克利分校的研究生 Ashish Kumar 说，与市场上现有的机器狗不同，例如波士顿动力公司的spot，它使用内部地图四处移动，而这种机器狗仅使用摄像头来指导其在野外的运动。也有其他使用摄像机提示来引导机器人移动的技术尝试，但仅限于平坦地形，而无法让他们的机器人走上楼梯、爬上石头并跳过缝隙。

这个四足机器狗首先被训练在一个模拟器的不用环境中运动，因此它对在公园里行走或上下楼梯有一个大致的了解。当它被部署在现实世界中时，它前面的单个摄像头的视觉效果会引导它的运动。该机器狗使用强化学习来调整其步态，以在楼梯和不平坦的地面等事物中自由前进（强化学习是一种允许系统通过反复试验改进的人工智能技术）。

学者评价

卡内基梅隆大学助理教授迪帕克·帕萨克(Deepak Pathak) 表示，取消对内部地图的必要需求，这使机器人更加健壮，因为它不再受到地图中潜在错误的限制。

谷歌研究科学家 Jie Tan表示，机器人很难将相机的原始像素转化为在周围环境中导航所需的那种精确和平衡的运动。他说，这项工作是他第一次看到小型低成本机器人展现出如此惊人的机动性。

华盛顿大学研究机器学习和机器人控制的研究员 Guanya Shi 说，该团队已经实现了“机器人学习和自主性的突破”。

从事机器学习和机器人技术研究的Facebook人工智能研究部的研究科学家 Akshara Rai，也对这项新技术表示认可。

“这项技术是朝着构建这种有感知力的四足机器人，并将其部署在野外迈出的有希望的一步。”Rai 说。

未来展望

然而，这项技术目前仍然有所限制。虽然该团队的工作有助于改进机器人的行走方式，但却无法帮助机器人提前确定前进方向。“导航对于在现实世界中部署机器人来说是很重要的。” Rai 说。

在机器狗能够在公园里蹦蹦跳跳或在家里取东西之前，还需要做更多的工作。Tan表示，虽然机器狗可以通过前置摄像头了解深度，但它无法应对湿滑地面或高草丛等情况；它可能会陷入水坑或陷入泥泞。

据悉，这项技术即将在12月14日于新西兰奥克兰举行的2022年机器人学习大会（CoRL2022）上亮相，届时让我们期待该项技术的更多的详情！

文章参考：

https://vision-locomotion.github.io/

https://www.technologyreview.com/2022/11/21/1063585/watch-this-robot-dog-scramble-over-tricky-terrain-just-by-using-its-camera/

查看本公众号原文尾部获取论文原文pdf

本文为原创文章，版权归BFT机器人所有，如需转载请与我们联系。若您对该文章内容有任何疑问，请与我们联系，将及时回应。