隆重推出贴图梦想家！ TextureDreamer 将贴图从几个图像传输到任意 3D 形状。对 3D 内容创作的民主化感到兴奋！
TextureDreamer：通过几何感知扩散进行图像引导贴图合成
Yu-Ying Yeh、Jia-Bin Huang、Changil Kim、Lei Xiao、Thu Nguyen-Phuoc、Numair Khan、Cheng Zhu、Manmohan Chandraker、Carl S Marshall、Zhao Dong 和 Chengqin Li
IEEE/CVF 计算机视觉和模式识别会议 (CVPR) 2024
📝论文：https://arxiv.org/abs/2401.09416
🌐 网站：https://texturedreamer.github.io/
AIGC专区：
https://heehel.com/category/aigc
摘要：我们提出了 TextureDreamer，这是一种新颖的图像引导贴图合成方法，可将可重新点亮的贴图从少量输入图像（3 到 5）传输到跨任意类别的目标 3D 形状。
贴图创建是视觉和图形领域的一个关键挑战。工业公司聘请经验丰富的艺术家来手动制作 3D 资产的贴图。经典方法需要密集采样的视图和精确对齐的几何形状，而基于学习的方法仅限于数据集中特定于类别的形状。相比之下，TextureDreamer 可以将高度详细、复杂的贴图从现实世界环境转移到任意对象，只需几张随意捕获的图像，这可能会显着使贴图创建民主化。
我们的核心理念是个性化几何感知分数蒸馏 (PGSD)，它从扩散模型的最新进展中汲取灵感，包括用于贴图信息提取的个性化建模、用于详细外观合成的变分分数蒸馏以及 ControlNet 的显式几何指导。我们的集成和一些必要的修改大大提高了贴图质量。对不同类别的真实图像进行的实验表明，TextureDreamer 可以成功地将高度真实、具有语义意义的贴图传输到任意对象，超越了之前最先进的视觉质量。
