喜好儿网NeRF-XL，这是一种在多个 GPU 上分布神经辐射场 (NeRF) 的原理方法，从而能够以任意大的容量训练和渲染 NeRF。我们首先重新审视现有的多 GPU 方法，这些方法将大场景分解为多个独立训练的 NeRF，并确定这些方法的几个基本问题，这些问题阻碍了重建质量的提高，因为在训练中使用了额外的计算资源 (GPU)。 NeRF-XL 解决了这些问题，只需使用更多硬件即可使用任意数量的参数来训练和渲染 NeRF。
NeRF-XL详细介绍：https://research.nvidia.com/labs/toronto-ai/nerfxl/
AIGC专区：
https://heehel.com/category/aigc
更多消息：
https://heehel.com/category/ai-news
我们方法的核心在于一种新颖的分布式训练和渲染公式，它在数学上等同于经典的单 GPU 情况，并最大限度地减少了 GPU 之间的通信。通过解锁具有任意大参数数量的 NeRF，我们的方法是第一个揭示 NeRF 的多 GPU 缩放定律的方法，显示出通过更大的参数数量可以提高重建质量，并通过更多 GPU 来提高速度。
我们展示了 NeRF-XL 在各种数据集上的有效性，包括迄今为止最大的开源数据集 MatrixCity，其中包含覆盖 25km^2 城市区域的 258K 图像。
我们的方法在所有 GPU 上联合训练多个 NeRF，每个 NeRF 覆盖一个不重叠的空间区域。 GPU之间的通信仅发生在前向传递中，而不发生在后向传递中（如灰色箭头所示），这显着减少了通信开销。 (a) 我们可以通过评估每个 NeRF 来获取样本颜色和密度来训练该系统，然后将这些值广播到所有其他 GPU 进行全局体渲染。 (b) 通过将体渲染方程（和其他损失）重写为分布式形式，我们可以显着地将数据传输减少到每条光线一个值，从而提高效率。从数学上讲，我们的方法与在单个大型 GPU 上训练和渲染由多个小型 NeRF（例如 Kilo-NeRF）表示的 NeRF 相同。
零模型容量冗余。之前的工作（例如 Block-NeRF、Mega-NeRF）通常涉及独立训练多个 NeRF，每个 NeRF 在单独的 GPU 上进行训练。这种设置要求每个 NeRF 处理焦点区域及其周围环境，从而导致模型能力范围内的冗余建模。相比之下，我们的联合训练方法采用不重叠的 NeRF，完全消除了冗余。
不再混合。先前的独立训练工作依赖于推理时新颖视图合成的混合。以 2D（例如 Block-NeRF）或 3D（例如 Mega-NeRF）混合都可能对渲染质量有害。相比之下，我们的联合训练方法不依赖任何混合进行渲染。从而消除了先前作品中由独立训练引入的训练与测试差异。
共享每相机嵌入。 NeRF 中的相机优化可以通过变换不准确的相机本身或所有其他相机以及底层 3D 场景来实现。因此，通过相机优化独立训练多个 NeRF 可能会导致相机校正和场景几何的不一致，从而给混合渲染带来更多困难。相反，我们的联合训练方法允许优化单组每个摄像机的嵌入（通过多 GPU 同步），从而确保整个场景中一致的摄像机优化。
之前基于独立训练的工作无法通过额外的 GPU 实现性能提升，这与利用多 GPU 设置来增强大规模 NeRF 性能的基本目标相矛盾。无需任何启发式方法，我们的方法就可以优雅地揭示 NeRF 在多 GPU 设置中跨各种类型的数据和规模的缩放定律。
