3D 头像生成的最新进展引起了广泛关注。这些突破旨在产生更逼真的动画化身，缩小虚拟和现实世界体验之间的差距。大多数现有作品都采用分数蒸馏采样 (SDS) 损失，结合可微渲染器和文本条件，来指导扩散模型生成 3D 头像。然而，SDS 经常生成过度平滑的结果，面部细节很少，因此与祖先采样相比缺乏多样性。
huggingface链接： https://huggingface.co/papers/2401.11078
论文网址：https://arxiv.org/abs/2401.11078
该论文提出了一种名为 UltrAvatar 的新型 3D 头像生成方法，旨在解决现有方法在生成逼真的 3D 头像时存在的问题。现有方法通常采用 Score Distillation Sampling (SDS) 损失结合可微渲染器和文本条件来指导扩散模型生成 3D 头像。然而，SDS 往往会产生过度平滑的结果，面部细节较少，缺乏多样性。另外，其他方法从单个图像生成 3D 头像时，面临着不需要的光照效果、透视视图和图像质量较差等挑战。
AIGC专区：https://heehel.com/category/aigc
教程专区：https://heehel.com/category/ai-tutorial
为了解决这些问题，该方法具有增强的几何保真度和基于物理的渲染 (PBR) 纹理的卓越质量，同时消除了不需要的光照效果。该方法包括漫反射颜色提取模型和真实性引导纹理扩散模型两部分。漫反射颜色提取模型通过消除不需要的光照效果，提取出真实的漫反射颜色，使生成的头像可以在各种光照条件下渲染。真实性引导纹理扩散模型通过两个基于梯度的引导，生成 PBR 纹理，使得面部身份特征和细节更好地与 3D 网格几何对齐。
实验结果表明，UltrAvatar 方法在生成逼真的可动画 3D 头像方面具有更高的效果和鲁棒性（鲁棒性是指一个系统在受到各种异常或干扰的情况下不会出现崩溃、数据丢失等问题，仍然能够保持其稳定性和正常工作的能力。），远远优于现有方法。最初，头像生成主要依赖于复杂且昂贵的扫描设置，限制了其可扩展性。这一挑战已转向利用常见的图像输入，例如单张照片或视频。此外，3D 头部的表示已经多样化，从基于网格的参数模型到NeRFs 等流体神经隐式函数。
先进神经网络的引入，特别是生成对抗网络（GAN），导致 3D 属性直接嵌入到这些生成模型中，并使用生成模型作为生成 3D 化身的先验等。一些技术也可以从单个图像创建可操纵的化身。然而，这些现有方法依赖于提供的图像来生成网格和纹理，经常会在网格创建中遇到错误，以及由于图像上的镜面高光和阴影等照明而导致漫反射纹理生成的问题。我们提出的方法巧妙地解决和缓解了这些挑战，确保结果更加一致和准确。
文本到 3D 生成是一个流行的研究主题，它建立在文本到图像模型的成功基础上。 DreamFusion、Magic3D、Latent-NeRF、AvatarCLIP、ClipFace、Rodin、DreamFace 等，使用文本提示来指导3D生成。这些方法大多数使用 SDS 损失来保持扩散模型生成的图像和 3D 对象之间的一致性。然而，SDS 损失严重限制了世代的多样性。我们的方法支持基于大规模数据训练的扩散模型的强大图像生成功能，促进多样性。同时，它确保文本提示和生成的头像之间的高度保真度，而不依赖于 SDS 丢失。
综上所述，UltrAvatar 方法通过增强头像的几何保真度和纹理质量，消除不需要的光照效果，生成逼真的可动画 3D 头像。该方法在解决现有方法存在问题方面取得了显著的进展，对于虚拟和现实世界体验之间的差距缩小具有重要意义。
https://heehel.com/aigc/triplane-gaussian.html
https://heehel.com/aigc/luma-ai-genie-3d-model.html
