混合现实的大型语言模型 （LLMR），这是一个用于LLMs实时创建和修改交互式混合现实体验的框架。LLMR 利用新颖的策略来解决理想的训练数据稀缺的困难情况，或者设计目标需要综合内部动态、直观分析或高级交互性的情况。我们的框架依赖于文本交互和 Unity 游戏引擎。通过结合场景理解、任务规划、自我调试和内存管理等技术，LLMR 的平均错误率比标准 GPT-4 高出 4 倍。我们演示了 LLMR 与多个示例世界的跨平台互操作性，并在各种创建和修改任务中对其进行了评估，以表明它可以生成和编辑不同的对象、工具和场景。最后，我们进行了一项可用性研究（N=11），研究对象包括不同的一组，该研究显示参与者对该系统有积极的体验，并会再次使用它。
1、技术框架概述：LLMR是一个实时创建和修改交互式混合现实体验的框架，利用了大型语言模型（LLMs）。
2、定位：该框架旨在应对训练数据稀缺的困难情况，或者需要合成内部动态、直观分析或高级交互性的设计目标。
3、核心功能：结合了场景理解、任务规划、自我调试和内存管理
标签：场景,框架,LLMR,实时,交互式,交互性 From： https://blog.csdn.net/u012842807/article/details/136816957