在论文中,作者介绍了CharacterGen,这是一个为高效生成3D 角色而开发的框架。 CharacterGen 引入了简化的生成流程以及图像调节的多视图扩散模型。该模型有效地将输入姿势校准为规范形式,同时保留输入图像的关键属性,从而解决不同姿势带来的挑战。
基于变压器的、可推广的稀疏视图重建模型是我们方法的另一个核心组成部分,有助于从多视图图像创建详细的 3D 模型。他们还采用纹理反投影策略来生成高质量的纹理图。此外,他们还整理了一个动漫角色数据集,以多种姿势和视图呈现,以训练和评估我们的模型。
他们的方法已经通过定量和定性实验进行了彻底评估,显示出其在生成具有高质量形状和纹理的 3D 角色方面的熟练程度,为下游应用(例如绑定和动画)做好了准备。我们的代码、数据集和预训练权重即将推出。CharacterGen 获取单个输入图像并生成具有高质量和一致外观的 3D 姿势统一角色网格,可直接在下游绑定和动画工作流程中使用。
(CharacterGen项目文件资料链接在下方👇)
他们在上面展示了如何从生成的多视图图像生成最终细化的角色网格的过程。在第一阶段,我们利用基于深度变压器的网络来生成具有粗糙纹理的角色,然后采用我们的纹理反投影策略来增强生成的网格的外观。
简单来说,CharacterGen就像是一个高级的3D复印机。喜好儿了解到,你只需要给它一张2D的照片,它就能快速地制作出一个3D的模型,而且这个模型是按照一种特别标准的姿势来摆放的,这样就能够很容易地用在电影、游戏或者虚拟现实中。
这个框架可以从单张图片中高效地生成高质量的3D角色模型,并且让这些模型呈现出一种标准姿势,也就是所谓的"A-pose"。这种姿势在3D角色建模中非常常用,因为它简化了后续的绑定和动画制作流程。
实验表明,CharacterGen在生成具有高质量形状和纹理的3D角色方面表现出色,这些角色可以直接用于绑定和动画等下游应用。整个生成过程不到一分钟,这比传统的3D建模方法要快得多。