首页 > 其他分享 >GenEx: Generating an Explorable World

GenEx: Generating an Explorable World

时间:2024-12-20 10:27:12浏览次数:5  
标签:GenEx Generating 探索 具身 世界 生成 World 3D

本文是LLM系列文章,针对《GenEx: Generating an Explorable World》的翻译。

GenEx:创造一个可探索的世界

摘要

长期以来,理解、导航和探索3D物理现实世界一直是人工智能发展的核心挑战。在这项工作中,我们通过引入GenEx朝着这一目标迈出了一步,GenEx是一个能够规划复杂的具身世界探索的系统,其生成想象力形成了对周围环境的先验(期望)。
GenEx从一张RGB图像中生成一个完整的3D一致的想象环境,通过全景视频流将其变为现实。利用虚幻引擎策划的可扩展3D世界数据,我们的生成模型以物理世界为基础。它毫不费力地捕捉到了一个连续的360°环境,为人工智能代理探索和互动提供了无限的空间。GenEx在长轨迹上实现了高质量的世界生成和稳健的循环一致性,并展示了强大的3D功能,如一致性和主动3D映射。
在世界生成想象的推动下,GPT辅助代理能够执行复杂的具体任务,包括目标无关的探索和目标驱动的导航。这些代理利用对物理世界中看不见的部分的预测期望来完善他们的信念,根据潜在的决策模拟不同的结果,并做出更明智的选择。
总之,我们证明了GenEx为在富有想象力的空间中推进具身人工智能提供了一个变革性的平台,并为将这些能力扩展到现实世界的探索带来了潜力。

1 引言

2 创造一个可探索的世界

标签:GenEx,Generating,探索,具身,世界,生成,World,3D
From: https://blog.csdn.net/c_cpp_csharp/article/details/144542995

相关文章

  • HelloWorld详解
    HelloWorld随便新建一个文件夹,存放代码新建一个java文件文件名后缀名为.javaHello.java[注意点]需要手动打开文件扩展名编写代码publicclassHello{ publicstaticvoidmain(String[]args){ System.out.print("Hello,World!"); }}编译javacjava文件......
  • 给定下面伪代码,请说出程序运行多少秒后会输出“Hello World!”(不考虑其它干扰因素)?并解
    要准确回答这个问题,我们需要具体的伪代码。然而,我可以基于一个典型的伪代码示例来解释可能的情况,并给出相应的答案。假设伪代码如下:等待(5秒)输出("HelloWorld!")解释等待(5秒):这行代码表示程序将暂停执行5秒钟。在前端开发中,这种等待通常不会直接在浏览器中执行,因为Ja......
  • 古早的遗传算法碰到LLM->AutoDAN Generating Stealthy Jailbreak Prompts onAligned L
    师兄推给我的一篇ICLR,抽出时间阅读整理了附录前的内容......
  • Flask 第一个应用hello world
    创建一个简单的Flask应用。首先,创建一个名为app.py的文件,并添加以下内容:实例from flask import Flaskapp = Flask(__name__)@app.route('/')def hello_world():   return 'Hello,World!'if __name__ == '__main__':  app.run(debug=True)在命......
  • 世界模型爆发!Meta FAIR 的 Yann LeCun 团队继 World Labs(李飞飞)、谷歌 DeepMind后加入
    论文地址项目地址Abstract导航是具有视觉运动能力的智能体的基本技能。我们介绍了导航世界模型(NWM),一个可控的视频生成模型,预测未来的视觉观察的基础上,过去的观察和导航行动。为了捕捉复杂的环境动态,NWM采用了条件扩散Transformer(CDiT),在人类和机器人代理的各种自我中......
  • 【Rust自学】1.2. Rust的基本认识与“Hello World”
    本期资源1.2.0.题外话本人非常推荐使用JetBrains开发的RustRover(目前对非商业用途是免费的)作为编写Rust的IDE,在之后的文章中本人也会继续使用RustRover作为演示。本文章需要你有一定的编程经验(如果有C/C++的经验那就再好不过)1.2.1.编写Rust程序文件后缀名:.rs......
  • 主节点,节点编号node_rank,全局进程编号rank,局部进程编号,全局总进程数world_size
    主节点(master_ip+master_port)责协调所有其他节点和进程的工作,由主节点所在服务器的IP地址和主节点进程的端口号来确定主节点。主节点还负责监控系统状态、处理任务分配、结果汇总等任务,因此是整个系统的关键部分。节点编号(node_rank)是系统中每个节点的唯一标识符,用于区分不......
  • 探索未来:.world域名引领3D虚拟空间与元宇宙品牌新时代
    随着互联网的不断进化,从Web2.0迈向Web3.0,乃至更远的元宇宙愿景,一个跨平台连接物理和虚拟世界的沉浸式环境正在逐步形成。在这个过程中,企业不仅需要创新的产品和服务,还需要能够代表其前瞻性和现代性的品牌标识。.world域名,作为非传统顶级域名(TLD)中的佼佼者,正成为众多品牌开启......
  • requests - helloworld
    抓取静态界面importrequestsheaders={"User-Agent":"Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/80.0.3987.122Safari/537.36"}url="http://localhost:63343/using_ol/simple/绘圆.html?_ijt......
  • 【C语言】在 Linux 终端编写、编译并运行 Hello world 程序
    步骤创建并打开hello-world文件夹mkdirhello-worldcdhello-world使用vim创建main.cvimmain.c写入代码并保存#include<stdio.h>intmain(){printf("Hello,world!\n");return0;}#include<stdio.h>是一个预处理命令,用于包含标准输入输......