我们引入了一种新方法，通过称为“Object Images”的表示形式使用 UV 贴图生成逼真的 3D 模型。这种方法将表面几何形状、外观和面片结构封装在 64x64 像素图像中，有效地将复杂的 3D 形状转换为更易于管理的 2D 格式。通过这样做，我们解决了多边形网格固有的几何和语义不规则性的挑战。该方法允许我们使用图像生成模型（例如扩散变压器）直接进行 3D 形状生成。在 ABO 数据集上进行评估，我们生成的具有补丁结构的形状实现了与最新 3D 生成模型相当的点云 FID，同时自然支持 PBR 材质生成。
(Object Images项目文件资料链接在下方👇)
AIGC+3D相关：
https://heehel.com/category/aigc/ai3d
AI论文与新生技术专题：
https://heehel.com/collection/topic-aipapers-jiaocheng
实现方法
我们首先将 UV 展开的 3D 形状预处理为 1024x1024 图像，然后特别小心地将其下采样为 64x64 图像。然后我们将 omage 展平为一个序列，并通过补丁大小为 1 的扩散变换器 (DiT) 学习它们的分布。使用 DiT 的动机是我们观察到 omage 的生成本质上是图像生成和集合生成的结合。一件非常酷的事情是，在去噪过程中，离散结构从连续图像格式中出现，并且生成的结果在补丁的数量和大小上表现出很大的变化。
更多结果样本
- 在这里，我们展示了在 ABO 数据集上训练的模型的更多结果。尽管补丁之间存在间隙，但补丁的整体对齐展示了这种 3D 生成范例的潜力。我们还展示了我们的模型使用 PBR 材质生成物体（例如镜子）的潜力。
- 在传统的3D建模中，设计师通常使用多边形网格来创建形状，但这些网格的顶点和连接方式非常不规则，给自动生成3D模型带来了挑战。而"Object Images"通过将3D形状映射到2D平面上，转换成规则的图像格式，使得可以使用现有的图像生成模型来创建3D形状。
文章中提到的关键技术包括：
- 表面几何和材料的2D表示：通过将3D模型的表面几何和纹理信息映射到一个规则的2D图像上，形成了所谓的"Object Images"。
- 图像扩散模型：使用一种称为Diffusion Transformers的图像生成模型，直接对这些"Object Images"进行操作，以生成新的3D形状。
- 多图表示法：将3D形状分解为多个2D补丁，这些补丁可以被单独处理并映射回3D空间。
这项技术的优势在于：
- 简化了3D模型的生成过程，使其更易于管理和操作。
- 保留了3D形状的几何和语义细节，使得生成的模型在动画和视觉效果制作中更加实用。
- 利用现有的图像生成技术，提高了3D模型生成的效率和质量。
这项研究的局限性包括：
- 目前只能生成具有特定分辨率的3D模型。
- 需要高质量的UV图谱来训练模型，这可能限制了模型的泛化能力。
这个看着有点nb