导语
《黑神话：悟空》这款游戏，以其独特的东方魅力和引人入胜的剧情，在玩家和业界中引发了巨大的热潮。它不仅在界内十分火爆，更是火出了圈，可以在各处看见他的身影，包括奶茶店、咖啡店、商场超市等。这款游戏凭借其精致的画面和深入人心的角色塑造，无疑将为中国游戏产业注入新的活力，让人们看见了中华文化的博大精深，不禁感叹：祖宗优选才是好货！
然而，最近小鲨竟然发现：AI也能直面天命！GPT可以玩《黑神话·悟空》！
AI竟然在《黑神话：悟空》中打败了人类玩家！这可不是什么小打小闹，而是完完全全的大招！ 它不仅赢了，还赢得超级漂亮，特别是在对抗鸦香客和牯护院时，简直像开了挂一样！ 而且，这全靠一个大模型，没有使用强化学习！
阿里巴巴的研究人员们真的太牛了，他们提出了一种新型的VARP智能体框架。这个框架可以直接分析游戏截图，然后通过视觉语言模型推理，生成Python代码形式的动作来操作游戏。在《黑神话·悟空》中，这个智能体在90%的简单和中等水平的战斗场景中取得了胜利！
GPT-4o、Claude 3.5都不缺席挑战
研究人员以《黑神话·悟空》为研究平台，一共定义了12个任务，75%与战斗有关。
他们构建了一个包含1000条有效数据的人类操作数据集，这些数据囊括了键鼠操作和游戏截图。每个操作都是由一系列原子命令组成的，比如轻攻、闪避、重攻击和回血等。
他们提出了VARP智能体框架，主要包括动作规划系统和人类引导轨迹系统。
动作规划系统由情境库、动作库和人类引导库组成，使用VLMs进行动作推理和生成，并引入辅助模块以分解特定任务以及自我优化的动作生成模块。
人类引导轨迹系统则利用人类操作数据提升智能体性能，针对复杂任务，通过查询人类引导库获取相似截图和操作，生成新的引导动作。
同时，VARP还包括三个库：情景库、动作库和人工引导库。
这些库存储了智能体自我学习和人类指导的内容，能够进行检索和更新。动作库中，“def new_func_a()”表示动作规划系统生成的新动作，“def new_func_h()”代表人导轨迹系统生成的动作，而“def pre_func()”则是预定义的动作。
动作案例研究和相关游戏截图中，第一行和第二行的操作是预定义函数，第三行的动作由人工引导轨迹系统生成。SOAG会在每次玩家角色与敌人战斗互动后，总结第四行和第五行中的新动作，并将其存储在动作库中。
框架分别使用了GPT-4o（2024-0513版本）、Claude 3.5 Sonnet和Gemini 1.5 Pro。
对比人类和AI的表现结果发现，在小怪部分，AI的表现达到了人类玩家的水平。然而，当进入牯护院时，Claude 3.5 Sonnet表现不佳，而GPT-4o的胜率最高。
但对于新手玩家普遍感到棘手的幽魂，AI们也无能为力。
还有研究指出，由于VLMs的推理速度限制，它无法实时处理每一帧画面，只能间隔输入关键帧，这可能导致AI错过boss攻击的关键信息。此外，由于游戏缺乏明确的道路引导且存在许多空气墙，智能体在没有人类指导的情况下也无法找到正确的路线。这项研究由阿里团队的五位作者完成。
后续相关代码和数据集有发布计划，感兴趣的朋友可以蹲下。
最后
我想说，AI的潜力是无限的，欢迎关注我的公众号：AI小鲨，持续为您带来最新AIGC资讯！
标签：引导,游戏,动作,AI,胜率,远超,人类,GPT From： https://blog.csdn.net/AIPioneerShark/article/details/142446471