研究人员提出了第一种以前所未有的 4K 分辨率实时渲染人类演员穿着一般服装的高度逼真的自由视点视频的方法，从稀疏的多视图记录到显示。据推断，研究人员的方法只需要移动演员和各自 3D 骨骼姿势的四个摄像机视图。它可以处理穿着宽大衣服的演员，甚至可以再现精细的动态细节，例如衣服皱纹、面部表情和手势。在训练时，研究人员基于学习的方法需要密集的多视图视频和演员的静态表面扫描。研究人员的方法包括三个主要阶段。第一阶段是骨架驱动的神经方法，用于高质量捕获详细的动态网格几何形状。第 2 阶段是一种新颖的解决方案，使用四个测试时相机视图作为输入来创建依赖于视图的纹理。最后，第 3 阶段包括一个新的基于图像的细化网络，根据前一阶段的输出渲染最终 4K 图像。研究人员的方法使用稀疏输入摄像机视图为实时渲染分辨率和质量建立了新的基准，释放了沉浸式远程呈现的可能性。
它能够实现从稀疏的RGB摄像头实时渲染出高度逼真的人类演员自由视角视频。这项技术在推理时仅需要四个摄像机视角下的移动演员图像和相应的3D骨架姿态。它能够处理穿着宽松服装的演员，并再现诸如服装褶皱、面部表情和手部姿势等细节。
更多消息：
https://heehel.com/category/ai-news
AIGC专区：
https://heehel.com/category/aigc
该方法包含三个主要阶段：
- 骨架驱动的神经方法，用于高质量捕获详细的动态网格几何。
- 一种新颖的解决方案，使用四个测试时摄像机视角作为输入来创建视图依赖的纹理。
- 一个新的基于图像的细化网络，给定前两个阶段的输出，渲染最终的4K图像。 该技术为使用稀疏输入摄像机视图进行实时渲染的分辨率和质量树立了新的基准，并为沉浸式远程存在（telepresence）开启了可能性。
论文还讨论了相关工作，包括自由视角重放、可动化化身、图像驱动动态场景渲染和稀疏图像驱动的化身。作者通过彻底的消融实验验证了设计，并在实验中展示了最先进的质量。 在运行时间方面，使用双NVIDIA A100 GPU，推理流水线能够在4112×3008的全分辨率下实现实时渲染。在数据集方面，作者在DynaCap数据集的两个序列上评估了他们的方法，包括一个穿着紧身衣物的主体和一个穿着宽松衣物的主体。
项目及演示: https://vcai.mpi-inf.mpg.de/projects/holochar/
论文: https://arxiv.org/abs/2312.07423
GitHub: https://github.com/ashwath98/deepcharacters
此外，他们还记录了一个新的数据集，其中包括三个新序列，演员被指示以自然的方式使用双手。 在定性结果方面，该方法在测试时泛化到新姿势，并且能够以实时方式生成手部、服装褶皱和表情的质量。该方法还能够真实地模拟服装褶皱，即使是对于非常具有挑战性的宽松衣服也是如此。 在与动画方法的比较中，DDC和HDHumans等方法无法产生高频细节和服装褶皱，而Holoported Characters方法则能够产生与真实情况一致的高质量渲染。
在与图像驱动方法的比较中，ENeRF和DVA等方法在渲染稀疏图像时存在局限性，而Holoported Characters方法则能够产生高质量的渲染结果，并且能够处理宽松类型的服装。 在定量比较方面，Holoported Characters在DynaCap数据集上的新视角和新姿势合成任务中优于所有以前的实时方法，尤其是在LPIPS和FID指标上表现出显著的优势。 在消融研究方面，部分纹理输入、几何细节和4K分辨率对于最终结果质量都有显著贡献。
最后，尽管他们的工作是朝着更沉浸式和逼真的化身迈出的一步，但仍存在一些挑战，例如无法模拟拓扑变化，如打开夹克。未来的工作可能会探索分层的人类表示，可能能够模拟这样的效果。此外，目前还需要一个密集的工作室设置来获取逼真的化身。作者计划在未来探索更轻量级的设置，即使是为了训练模型。
最后，他们的投影纹理需要将从可变形角色模型中学习到的几何体作为输入，而在训练过程中无法进一步细化。作者认为，可微投影纹理可能是解决这个问题的一个有趣方向。
