ARVIS-1 是一个开放式多任务代理，可以在 Minecraft 中感知多模态输入，包括视觉观察和人类指令，生成复杂的计划并执行具体控制。它是基于预训练的多模态语言模型开发的，该模型可以将视觉观察和文本指令映射到计划，并将计划发送给控制器来执行。JARVIS-1 还配备了一个多模态内存，可以利用预先训练的知识和实际游戏经验进行规划。
例如：能够根据玩家的指令去挖掘特定的资源或建造结构。
JARVIS-1 的目标是在开放世界类游戏中实现类似人类的行动和操控，这对于更功能强大的通用代理来说是一个重要的里程碑。通过在 Minecraft 中展示 JARVIS-1 的表现，这个项目可以证明 JARVIS-1 在各种不同的任务中表现出了接近完美的性能，从入门级到中级的任务都能完成。在长期任务中，JARVIS-1 的完成率相比之前的记录有了显著的提高，达到了 12.5%。
此外，JARVIS-1 还能够根据多模态记忆进行自我改进，遵循终身学习的范式，从而激发更通用的智能和改进自主性。
估计未来，AI代理通过目标感知表示学习和自适应地平线预测升级，游戏里的NPC不再是憨憨的站在那里，而是拥有更真实的行为，让玩家在虚拟世界里得到更好的剧情体验。
JARVIS-1项目官方展示地址：
https://craftjarvis-jarvis1.github.io/
JARVIS-1论文地址
https://arxiv.org/abs/2311.05997
JARVIS-1项目官方下载网址：
https://github.com/CraftJarvis/JARVIS-1
