研究团队提出了 MeshLRM,这是一种基于 LRM 的新颖方法,可以在不到一秒的时间内仅从四个输入图像重建高质量模型。与之前专注于基于 NeRF 重建的大型重建模型 (LRM) 不同,MeshLRM 在 LRM 框架内结合了可微分模型提取和渲染。
MeshLRM论文:https://huggingface.co/papers/2404.12385
github项目:https://github.com/MeshLRM/MeshLRM.github.io
AIGC专区:
https://heehel.com/category/aigc
这允许通过使用模型渲染微调预先训练的 NeRF LRM 来进行端到端模型重建。此外,研究团队通过简化以前 LRM 中的几个复杂设计来改进 LRM 架构。 MeshLRM的NeRF初始化是用低分辨率和高分辨率图像顺序训练的;这种新的 LRM 训练策略可以显着加快收敛速度,从而以更少的计算量获得更好的质量。
研究团队的方法从稀疏视图输入实现了最先进的模型重建,并且MeshLRM还允许许多下游应用,包括文本到 3D 和单图像到 3D 生成。