喜好儿网3D 对象生成取得了显着进步，产生了高质量的结果。然而，无法实现精确的用户控制，通常会产生与用户期望不符的结果，从而限制了它们的适用性。由于交互能力有限，用户想象的 3D 对象生成在使用当前的生成模型实现其概念时面临着重大挑战。
现有方法主要提供两种方法：（i）解释具有受限可控性的文本指令，或（ii）从 2D 图像重建 3D 对象。它们都将定制限制在 2D 参考范围内，并可能在 3D 提升过程中引入不良伪影，从而限制了直接和通用 3D 修改的范围。在这项工作中，我们介绍了 Interactive3D，这是一种用于交互式 3D 生成的创新框架，可让用户通过广泛的 3D 交互功能精确控制生成过程。 Interactive3D 通过两个级联阶段构建，利用不同的 3D 表示。
第一阶段采用高斯溅射进行直接用户交互，允许在任何中间步骤修改和指导生成方向，通过（i）添加和删除组件，（ii）可变形和刚性拖动，（iii）几何变换，以及（iv）语义编辑。随后，高斯图被转换为 InstantNGP。我们引入了一种新颖的 (v) 交互式哈希细化模块，以在第二阶段进一步添加细节并提取几何图形。
我们的实验表明，Interactive3D 显着提高了 3D 生成的可控性和质量。
项目文件：https://interactive-3d.github.io/
AIGC专区：
https://heehel.com/category/aigc
更多消息：
https://heehel.com/category/ai-news
实现方法————
整体架构：Interactive3D 通过广泛的 3D 交互功能使用户能够精确控制生成过程。 Interactive3D 通过两个级联阶段构建，利用不同的 3D 表示。第一阶段采用高斯溅射进行直接用户交互，允许在任何中间步骤修改和指导生成方向，通过（i）添加和删除组件，（ii）可变形和刚性拖动，（iii）几何变换，以及（iv）语义编辑。随后，高斯图被转换为 InstantNGP。我们引入了一种新颖的 (v) 交互式哈希细化模块，以在第二阶段进一步添加细节并提取几何图形。
1、Rigid Dragging 刚性拖动
“霸王龙”：使用刚性拖动来打开霸王龙的嘴
2、Part Combination 零件组合
使用零件组合来组装你的高达。
「手持带翅膀的剑的高达机器人」
3、Hash Refinement 哈希细化
使用哈希细化来提高质量。
「手持带翅膀的剑的高达机器人」
4、Semantic Editing 语义编辑
使用语义编辑来改变你的高达。
「手持冰剑、翅膀由冰制成的高达机器人」
5、Deformable Dragging 可变形拖动
使用可变形拖动来创建香蕉鲸。
“长得像香蕉的鲸鱼”
6、Geometric Transformation 几何变换
使用几何变换打开精灵球。
“打开的精灵球中的飞龙宝宝”
