想象一下，你在玩一个视频游戏，游戏里的角色需要根据你的动作来移动。MaskedMimic就可以帮助开发者创建这样的角色，它能够理解你的动作，然后让游戏里的角色以非常自然的方式响应。或者在制作电影时，动画师告诉MaskedMimic角色需要做什么，它就能创造出角色的整个动作序列。
英伟达研究中心制作一个单一的、多功能的基于物理的控制器，可以为各种场景中的交互式角色注入生命力，代表了角色动画中令人兴奋的前沿。理想的控制器应该支持多种控制模式，例如稀疏目标关键帧、文本指令和场景信息。虽然以前的工作提出了物理模拟、场景感知控制模型，但这些系统主要集中于开发控制器，每个控制器专门负责一组狭窄的任务和控制模式。
这项工作提出了 MaskedMimic，这是一种新颖的方法，它将基于物理的角色控制表述为一般的运动修复问题。我们的主要见解是训练一个统一的模型来根据部分（屏蔽的）运动描述合成运动，例如屏蔽的关键帧、对象、文本描述或其任何组合。
这是通过利用运动跟踪数据并设计可扩展的训练方法来实现的，该方法可以有效地利用不同的运动描述来生成连贯的动画。通过这个过程，我们的方法学习了一个基于物理的控制器，它提供了直观的控制界面，而不需要对所有感兴趣的行为进行繁琐的奖励工程。由此产生的控制器支持广泛的控制模式，并实现不同任务之间的无缝转换。通过运动修复来统一角色控制，MaskedMimic 可创建多功能的虚拟角色。这些角色可以动态适应复杂的场景，并根据需要做出多样化的动作，从而实现更具互动性和沉浸感的体验。
(英伟达MaskedMimic游戏角色动作推断详情👇)
我们推出了 MaskedMimic，一个用于物理模拟人形机器人的单一统一控制器。我们的系统能够根据直观的用户定义意图在不同地形上生成广泛的运动。在这项工作中，我们展示了几种应用程序，包括从部分关节目标位置生成全身运动、响应操纵杆转向、参与对象交互、跟随路径、解释文本命令，甚至组合这些模式，例如执行文本风格化路径跟随。
MaskedMimic的技术原理
- 运动修复（Motion Inpainting）： 它的核心是一种叫做“运动修复”的技术，这就好比你只有角色动作的一部分信息，MaskedMimic能够根据这些部分信息推断出整个动作。比如，你只知道角色的一只手在做什么，MaskedMimic可以猜测出角色全身的动作。
- 变换器（Transformer）： 使用了一种叫做变换器的AI模型，它能处理各种不同的输入（比如文字描述、目标动作等），然后生成符合这些描述的动作。
- 条件变分自编码器（Conditional VAE）： 它使用这种模型来生成多样化的动作，即使在只有少量信息的情况下也能创造出不同的动作。
MaskedMimic的功能
- 多样化的动作生成： 可以根据部分信息生成完整且连贯的动作。
- 多种控制方式： 用户可以通过文本、关节位置、物体交互等多种方式来控制角色。
- 强化学习与行为克隆： 通过强化学习训练出一个能够模仿各种动作的模型，然后通过行为克隆将这些动作传递给MaskedMimic。
MaskedMimic的应用场景
- 游戏开发： 游戏开发者可以使用这项技术来创建更加真实和智能的游戏角色。
- 电影和动画制作： 动画师可以用它来快速生成复杂的动画序列。
- 虚拟现实（VR）： 在VR环境中，用户可以通过身体动作或语音指令来控制虚拟角色。
