基于体积渲染的方法（例如 NeRF）在从 RAW 图像合成 HDR 视图方面表现出色，尤其是对于夜间场景。然而，它们的训练时间长，并且由于密集采样要求而无法执行实时渲染。 3D 高斯分布 (3DGS) 的出现实现了实时渲染和更快的训练。
然而，由于其固有的缺点，直接使用 3DGS 实现基于 RAW 图像的视图合成具有挑战性：1）在夜间场景中，极低的 SNR 导致远景中的运动结构（SfM）估计较差； 2）球谐函数（SH）的表示能力有限，不适合RAW线性色彩空间； 3）不准确的场景结构阻碍了重新聚焦等下游任务。为了解决这些问题，我们提出了 LE3D（用 3DGS 照亮每一个黑暗）。
我们的方法提出了 Cone Scatter Initialization 来丰富 SfM 的估计，并用 Color MLP 代替 SH 来表示 RAW 线性颜色空间。此外，我们引入深度失真和近远正则化来提高下游任务的场景结构的准确性。这些设计使 LE3D 能够执行实时新颖的视图合成、HDR 渲染、重新聚焦和色调映射更改。与之前基于体积渲染的方法相比，LE3D 将训练时间减少至 1%，并将 2K 分辨率图像的渲染速度（FPS）提高高达 4,000 倍。
项目链接：https://github.com/Srameo/LE3D
论文链接：https://huggingface.co/papers/2406.06216
AIGC专区：
https://heehel.com/category/aigc
喜好儿网了解到，LE3D技术的核心优势在于其快速的训练能力和高效的渲染速度。与之前的方法相比，LE3D将训练时间缩短到原来的1%，并将2K分辨率图像的渲染速度提高了4000倍。此外，LE3D还能够抵抗噪声，并且能够表示HDR线性颜色，这意味着它可以更好地处理光线条件不佳的场景。
论文中还提到了LE3D的几个关键技术，包括Cone Scatter Initialization（用于提高在低光环境下的视图估计质量），使用小型多层感知器（MLP）来代替传统的球谐函数表示颜色，以及引入深度失真和近远场正则化来提高场景结构的准确性。这些技术的结合使得LE3D能够执行实时的新视图合成、HDR渲染、重新聚焦和色调映射变化等任务。
总的来说，LE3D技术为3D场景的HDR视图合成提供了一个快速、高效且功能强大的解决方案，特别适合需要处理复杂光线条件或需要快速渲染速度的应用场景。
