AnimateDiff是一个Text-to-Image Diffusion框架,通过将文本转化为个性化的动画图像,实现了二次元ai动漫风格视频效果。它的主要特点是可以适用于大多数现有的个性化文本到图像模型,无需进行特定的调整和训练。
通过向基于文本到图像模型添加一个新的初始化运动建模模块,并对视频片段进行训练,AnimateDiff可以转化出一个合理的运动体验。一旦训练完成,所有派生于相同基础模型的个性化版本都可以变成文本驱动模型,生成多样且个性化的文本到视频动画图像。使用AnimateDiff,用户可以将想象力转化为高质量的图像动画,无需进行繁琐的模型特定调整。
这个视频教学主要讲解AnimateDiff SD WebUI版本的安装、部署、错误修复以及与Google Colab版本对比,介绍了使用方法和注意事项,并展示了生成的动态效果,同时指出WebUI和Colab版本的细微差异。最后还提供了Stable Diffusion AnimateDiff官方模型合集下载地址。
===Google Colab部署教学+线上体验===
https://heehel.com/aigc/sd-animatediff-tex2vid.html
animatediff github 插件官方介绍页面:https://animatediff.github.io/
Github Animate Diff 官方开源下载网址:https://github.com/ShinguLari/sd-notebook-collection/blob/main/AnimateDiff.ipynb
===常见模型合集===
Counterfeit-V3.0: https://civitai.com/models/4468/counterfeit-v30
Realistic Vision V4.0: https://civitai.com/models/4201/realistic-vision-v20
majicMIX realistic 麦橘写实: https://civitai.com/models/43331/majicmix-realistic
RCNZ Cartoon 3d: https://civitai.com/models/66347/rcnz-cartoon-3d
TUSUN :https://civitai.com/models/33194/pallass-catmanul-lora
电影 Velvia:https://civitai.com/models/33208/filmgirl-film-grain-lora-and-loha
吉卜力GHIBLI_Background:https://civitai.com/models/54233/ghiblibackground
InkStyle(h开头): https://civitai.com/models/73305/zyd232s-ink-style