我们提出了一种新颖的生成 3D 建模系统，称为 CraftsMan，它可以生成具有高度变化的形状、规则的网格拓扑和详细表面的高保真 3D 几何形状，值得注意的是，允许以交互方式细化几何形状。尽管 3D 生成技术取得了显着进步，但现有方法仍然面临着冗长的优化过程、不规则的网格拓扑、噪声表面以及难以适应用户编辑的问题，从而阻碍了它们在 3D 建模软件中的广泛采用和实施
我们的作品灵感来自于工匠，他们通常会先粗略地勾画出作品的整体轮廓，然后再细化表面细节。具体来说，我们采用 3D 原生扩散模型，该模型在从基于潜在集的 3D 表示中学习的潜在空间上进行操作，以在几秒钟内生成具有规则网格拓扑的粗略几何形状。
特别是，这个过程将文本提示或参考图像作为输入，并利用强大的多视图 (MV) 扩散模型来生成粗略几何形状的多个视图，这些视图被输入到我们的 MV 条件 3D 扩散模型中以生成3D 几何，显着提高鲁棒性和通用性。接下来，使用基于法线的几何细化器来显着增强表面细节。这种细化可以自动执行，也可以与用户提供的编辑交互执行。大量实验表明，与现有方法相比，我们的方法在生产优质 3D 资产方面实现了高效率。
论文链接：https://huggingface.co/papers/2405.14979
项目详解：https://craftsman3d.github.io/
AIGC专区：
https://heehel.com/category/aigc
工具箱：
https://heehel.com/ai-tools#ai-3d
简介：
- CraftsMan 是一个新颖的 3D 建模系统，能够生成具有高度变化形状、规则网格拓扑和详细表面的高保真 3D 几何形状。
- 该系统允许以交互方式细化几何形状。
- 现有 3D 生成技术面临的挑战包括冗长的优化过程、不规则网格拓扑、噪声表面和难以适应用户编辑。
- CraftsMan 灵感来自于工匠的工作方式，先粗略勾画整体轮廓，再细化表面细节。
- 使用 3D 原生扩散模型，从潜在空间生成规则网格拓扑的粗略几何形状。
- 输入可以是文本提示或参考图像，利用多视图扩散模型生成多个视图。
- 法线基础的几何细化器用于增强表面细节，可以自动执行或与用户编辑交互执行。
实验表明，CraftsMan 在生产优质 3D 资产方面效率高于现有方法。
方法概述：
- 输入单个图像或文本提示，通过多视图扩散模型转换为多视图图像。
- 多视图图像作为条件输入到原生 3D 扩散模型，生成具有规则拓扑的粗网格。
- 使用基于表面法线的细化来改进或编辑粗略几何形状，增强细节。
- 细化过程包含自动全局细化和交互式魔笔工具，实现高效且可控的 3D 建模。
我们的方法首先使用多视图扩散模型将输入的单个图像或文本提示转换为多视图图像。然后将这些生成的多视图图像输入到原生 3D 扩散模型中，作为生成具有规则拓扑的粗网格的条件。最后，采用基于表面法线的细化来改进或编辑粗略几何形状，通过复杂的细节对其进行增强。细化过程具有两个关键工具：自动全局细化和交互式魔笔，它们共同实现高效且可控的 3D 建模。
