网友使用AnimateDiff制作可爱鼠妹跳舞的视频，里面有用了多个控制网络（lineart_anime、IP2P、Openpose、ref）的 animatediff-cli-travel-prompt，然后有一个upscale选项。
AnimateDiff是一个Text-to-Image Diffusion框架，通过将文本转化为个性化的动画图像，实现了二次元ai动漫风格视频效果。它的主要特点是可以适用于大多数现有的个性化文本到图像模型，无需进行特定的调整和训练。
ControlNet的创始人张吕敏是一位令人瞩目的年轻科研人员，于2021年本科毕业后，目前在斯坦福大学攻读博士学位。ControlNet是他提出的一项创新神经网络概念，旨在通过额外的输入来精确控制预训练的大型模型，例如稳定扩散（Stable Diffusion）。这本质上是一种端到端的训练方法，类似的AI模型早在2017年就出现过，但本次的创新之处在于将优质的大型模型（如Stable Diffusion）融入其中，为端到端训练提供更广泛的应用领域。ControlNet成功解决了文生图大型模型面临的重要问题：传统的基于关键词的控制方式无法满足对细节的精确控制需求。张吕敏的工作为深度学习领域带来了新的思路，为更高级别的模型控制和细致的生成过程提供了有力支持。
