定制文本到图像 (T2I) 模型最近取得了巨大进展，特别是在个性化、风格化和条件生成等领域。然而，将这一进展扩展到视频生成仍处于起步阶段，这主要是由于缺乏定制视频数据。在这项工作中，我们引入了 Still-Moving，这是一种新颖的通用框架，用于自定义文本到视频 (T2V) 模型，而不需要任何自定义视频数据。
该框架适用于著名的 T2V 设计，其中视频模型是基于文本到图像 (T2I) 模型构建的（例如，通过通货膨胀）。我们假设可以访问 T2I 模型的定制版本，仅在静态图像数据上进行训练（例如，使用 DreamBooth 或 StyleDrop）。天真地将定制 T2I 模型的权重插入 T2V 模型通常会导致严重的伪影或对定制数据的遵守不足。
为了克服这个问题，我们训练了轻量级空间适配器来调整注入的 T2I 层产生的特征。重要的是，我们的适配器接受了“冻结视频”（即重复图像）的训练，这些视频是根据定制 T2I 模型生成的图像样本构建的。这种训练是由一个新颖的运动适配器模块促进的，它允许我们在此类静态视频上进行训练，同时保留视频模型的运动先验。
在测试时，我们删除了运动适配器模块，只保留经过训练的空间适配器。这恢复了 T2V 模型的运动先验，同时遵循定制 T2I 模型的空间先验。我们展示了我们的方法在各种任务上的有效性，包括个性化、风格化和条件生成。 在所有评估的场景中，我们的方法将定制 T2I 模型的空间先验与 T2V 模型提供的运动先验无缝集成。
（Still-Moving项目介绍链接在下方👇）
想象一下，你有一张图片，想让它动起来，变成一个视频，而且希望视频中的对象按照你的想象来移动。以前，这需要大量的视频数据来训练电脑，让它学会如何让图片动起来。但现在，Still-Moving技术让这个过程变得简单了。
喜好儿认为，通过Still-Moving，用户可以轻松地将个性化或风格化的静态图像转换成视频，无论是个性化视频生成、风格化视频生成，还是条件视频生成，都能实现。这意味着，即使是没有专业视频制作技能的人，也能创造出具有个性化和风格化特征的视频内容。
