【AI-KSK】AnimateDiff+Steerable-Motion关键帧图片插值动画的制作,深度图转遮罩控制景别生成更为流畅的视频

Steerable Motion,一个 ComfyUI 自定义节点,用于引导具有批量图像的视频

Steerable Motion 是一个用于批量创意插值的 ComfyUI 节点。我们的目标是随着视频模型的发展,提供最佳质量、最精确、最强大的图像运动控制方法。该节点最好通过 Dough 使用 - 一种创意工具,可简化设置并提供良好的创意流程。

或者加入Discord频道:https://discord.com/invite/8Wx9dFu5tP

工作流夸克网盘下载:https://pan.quark.cn/s/deed4e5b7c0b

工作流迅雷云盘下载:https://pan.xunlei.com/s/VNyT6rRzevG7JCqw6UYaGBxUA1?pwd=6fgg#

【AI-KSK】AnimateDiff+Steerable-Motion关键帧图片插值动画的制作,深度图转遮罩控制景别生成更为流畅的视频

Steerable Motion用法:

主要设置有:

  1. Key frame position关键帧位置:您提供的每个主关键帧之间要生成多少帧。
  2. Length of influence影响长度:应用 IP 适配器 (IPA) 影响的帧范围。
  3. Strength of influence影响强度:每帧的最低点和最高点应该是多少。
  4. Image adherence图像依从性:我们应该在多大程度上强制遵守输入图像。

除了为整个生成设置的图像依从性之外,这些设置是线性设置的(每帧都相同)或动态设置的(每帧变化它们),您可以在上面的工作流程中找到有关如何调整这些设置的详细说明。

调整设置可以极大地影响运动 - 例如,下面您可以看到相同图像动画的两个示例 - 但调整一个设置后,每帧影响的长度:

【AI-KSK】AnimateDiff+Steerable-Motion关键帧图片插值动画的制作,深度图转遮罩控制景别生成更为流畅的视频

从中获得最大收益的哲学

这不是一个像文本转视频那样开箱即用的工具,它更像是一个画笔——一种艺术工具,你需要弄清楚如何充分利用它。

通过反复试验,您需要了解运动和设置的工作原理、其局限性、哪些输入图像最适合等等。

它并不适用于所有情况,但如果您能弄清楚如何运用它,这种方法可以为您提供足够的控制力,从而制作出与您的想象力完全相符的美丽事物。

其他人在此基础上构建的 2 个工作流程示例:

循环 LCM,作者:@idgallagher

首先,@idgallagher 使用 LCM 和不同的设置来实现非常有趣的逼真运动效果。您可以在此处获取它并在此处查看示例输出:

【AI-KSK】AnimateDiff+Steerable-Motion关键帧图片插值动画的制作,深度图转遮罩控制景别生成更为流畅的视频

光滑而深邃,作者:@Superbeasts.ai:

接下来,Superbeasts.ai 使用深度图来控制不同层中的运动 - 创建更平滑的运动效果。您可以在此处获取此工作流程并在此处查看其实际操作示例:

【AI-KSK】AnimateDiff+Steerable-Motion关键帧图片插值动画的制作,深度图转遮罩控制景别生成更为流畅的视频

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
今日签到
有新私信 私信列表
搜索