本文探讨了具有广泛内容生成的更高分辨率视频绘制。我们指出了现有方法在尝试大幅超越视频时面临的常见问题：低质量内容的生成以及 GPU 内存施加的限制。为了解决这些挑战，我们提出了一种基于扩散的方法，称为 \textit{Follow-Your-Canvas}。它建立在两个核心设计之上。
腾讯 Follow-Your-Canvas项目和论文链接：
AI论文与新生技术专题：
https://heehel.com/collection/topic-aipapers-jiaocheng
首先，我们没有采用“单次”绘制的常见做法，而是跨空间窗口分配任务并无缝合并它们。它允许我们绘制任何大小和分辨率的视频，而不受 GPU 内存的限制。其次，将源视频及其相对位置关系注入到每个窗口的生成过程中。它使每个窗口内生成的空间布局与源视频协调一致。
结合这两种设计使我们能够生成内容丰富的更高分辨率的外画视频，同时保持空间和时间的一致性。 Follow-Your-Canvas 擅长大规模视频绘制，例如从 512 X 512 到 1152 X 2048 (9 X)，同时产生高质量且美观的结果。它在各种分辨率和比例设置下都能获得最佳的定量结果。
Follow-Your-Canvas方法概述
Follow-Your-Canvas 的训练阶段。随机采样锚窗口和目标窗口，分别模仿“源视频”和“执行外画的区域”进行推理。通过布局编码器将锚窗口注入到模型中，以及通过锚窗口与目标窗口之间的位置关系计算出的相对区域嵌入，帮助模型将生成的目标窗口布局与锚窗口对齐
