新颖视图合成 (NVS) 和 3D 生成最近取得了显着的改进。然而，这些工作主要集中在有限的类别或合成 3D 资产上，无法推广到具有挑战性的野外场景，并且无法直接用于 2D 合成。此外，这些方法严重依赖于相机姿势，限制了它们的实际应用。
为了克服这些问题，研究人员提出了 MVInpainter，将 3D 编辑重新制定为多视图 2D 修复任务。具体来说，MVInpainter 使用参考指导部分修复多视图图像，而不是从头开始棘手地生成一个全新的视图，这在很大程度上简化了野外 NVS 的难度，并利用未掩盖的线索而不是明确的姿势条件。
为了确保跨视图一致性，MVInpainter 通过运动组件的视频先验和连接的参考键/值注意的外观指导进行了增强。此外，MVInpainter 结合了槽注意力来聚合来自未遮蔽区域的高级光流特征，以通过无姿势训练和推理来控制相机运动。在以对象为中心和前向数据集上进行的足够的场景级实验验证了 MVInpainter 的有效性，包括多种任务，例如多视图对象移除、合成、插入和替换。
(MVInpainter项目资料链接和演示页面在下方👇)
AI论文与新生技术专题：
https://heehel.com/collection/topic-aipapers-jiaocheng
简单来说，MVInpainter就像是一个高级的电子画笔，它可以在一系列不同角度的照片上进行编辑，无论是要添加新东西还是去掉不想要的部分，都能让整个场景看起来自然且连贯。
MVInpainter的工作原理可以想象成玩拼图。想象你有一堆从不同角度拍摄的同一场景的照片，现在你想在某些照片中添加或删除一些物体，但是要让所有照片看起来仍然是和谐的一个整体。MVInpainter就是帮你完成这个任务的工具。它通过观察已有的照片，学习物体和场景的样式，然后智能地在缺失或需要编辑的地方填充合适的内容。
这项技术使用了一种叫做“视频先验”的知识，它通过分析物体的运动和外观来帮助填充内容。此外，MVInpainter还采用了一种特殊的“流分组”技术，它通过分析图像中的运动来控制相机的视角，即使在没有相机位置信息的情况下也能生成一致的画面。
