【AI论文与新生技术】LVCD：基于参考线稿高度一致的动画自动上色

又一个ToonCrafter，给它一张原画图，再给它一个线稿动画序列视频，就能帮你自动给这个线稿动画序列上色，LVCD甚至能识别区分暗面和亮面。

研究人员提出了第一个基于参考的线稿视频着色的视频扩散框架。与之前仅依靠图像生成模型逐帧对线稿进行着色的作品不同，研究人员的方法利用大规模预训练视频扩散模型来生成彩色动画视频。这种方法会产生时间上更加一致的结果，并且能够更好地处理大运动。

(LVCD参考线稿高度一致的动画自动上色详情👇）

首先，他们引入了Sketch-guided ControlNet ，它提供了额外的控制来微调图像到视频的扩散模型，以实现可控视频合成，从而能够生成以艺术线条为条件的动画视频。然后，他们提出参考注意，以促进颜色从参考帧转移到包含快速和扩展运动的其他帧。

最后，他们提出了一种新颖的顺序采样方案，结合了重叠混合模块和前参考注意力，将视频扩散模型扩展到长视频着色的原始固定长度限制之外。定性和定量结果都表明，研究人员的方法在帧和视频质量以及时间一致性方面显着优于最先进的技术。此外，我们的方法能够生成高质量、长时间一致的大动作动画视频，这是以前的作品无法实现的。

实现方法

研究人员的目标是设计一个用于基于参考的线稿视频着色的视频扩散框架，能够生成时间一致的具有大动作的长动画序列。首先，他们提出了草图引导的 ControlNet 和参考注意力，它使模型能够生成由线稿草图引导的快速且广泛的运动动画。修改模型架构后，他们使用动画视频对其进行微调以执行他们的任务。在推理过程中，他们扩展了原始 SVD，通过顺序采样生成长的、时间一致的动画，并结合了重叠混合模块和前参考注意力。

比较

与五种方法的定性比较：ACOF [Yu 等人。 2024]，TCVC [Thasarathan 等人。 2019]，CNet+Refonly [Zhang 等人。 2023]、EISAI [Chen 和 Zwicker 2022] 和 SEINE [Chen 等人。 2024]。