我们提出了一种从一些彩色图像中恢复 3D 形状和视图相关外观的新颖方法，从而实现高效的 3D 重建和新颖的视图合成。我们的方法以有符号距离函数（SDF）和辐射场的形式学习隐式神经表示。
喜好儿看见，该模型通过启用光线行进的体积渲染进行逐步训练，并使用免学习多视图立体 (MVS) 线索进行规范化。我们贡献的关键是一种新颖的隐式神经形状函数学习策略，该策略鼓励我们的 SDF 场在水平集附近尽可能呈线性，从而增强针对监督和正则化信号发出的噪声的训练。
在不使用任何预训练先验的情况下，我们的方法称为 SparseCraft，在标准基准中的新颖视图合成和稀疏视图重建方面都实现了最先进的性能，同时训练时间不到 10 分钟。
（SparseCraft项目链接在下方👇）
论文链接：https://huggingface.co/papers/2407.14257项目链接：https://sparsecraft.github.io/
SparseCraft能够通过几张彩色图片来恢复三维形状和外观，实现高效的三维重建和新视角合成。简单来说，SparseCraft就像是一个会“读心术”的三维魔术师，只需要几张照片，就能猜出照片里物体的立体形状，并且还能从没拍过的角度来重新渲染这个物体。
SparseCraft的魔法包括两个主要部分：首先是通过一种叫做“体素渲染”的技术来学习物体的形状，这个过程就像是用一种特殊的“颜料”在三维空间里一点点绘制出物体的轮廓。然后，它还会学习物体的光线效果，这样即使在新的角度下，渲染出来的图像也能保持逼真。
这项技术的关键之处在于，SparseCraft能够尽可能地简化学习过程，让它在物体表面的“颜料”分布上尽可能线性，这样可以减少由于输入图片不足或质量不高带来的误差。SparseCraft不需要任何预训练的模型，训练起来也很快，不到10分钟就能搞定。
