DynamiCrafter是一个由腾讯、香港中文大学和北京大学联合研发的视频生成工具,它能够将静态图像转换为动画视频。这个工具利用了预训练的视频扩散先验,基于文本提示对开放域静止图像进行动画处理4。DynamiCrafter的关键思想是通过将图像合并到生成过程中作为指导,利用文本到视频扩散模型的运动先验。此外,DynamiCrafter支持高分辨率模型,提供更好的动态效果、更高的分辨率和更强的一致性。
教程专区:
https://heehel.com/category/ai-tutorial
AIGC专区:
https://heehel.com/category/aigc
DynamiCrafter的应用场景包括故事视频生成、循环视频生成和生成帧插值等。它能够处理几乎所有类型的图像,并根据文本提示生成逼真的动态内容,用户不再受限于特定类型的图像或风格8。DynamiCrafter还探索了通过文本控制运动的方法,并在不同应用中实现了多种主题和风格的动画视频,如风景、人物、动物、交通工具、雕塑等。
DynamiCrafter是由Jinbo Xing、Menghan Xia等人开发的,并且它的像素分辨率已经从2023年10月的320x640提升到了640x1024。这表明DynamiCrafter在技术上不断进步,旨在提供更高质量和更广泛的适用范围的视频生成服务。
DynamiCrafter项目:
https://github.com/Doubiiu/DynamiCrafter
我使用的DynamiCrafter-comfyui节点:
https://github.com/kijai/ComfyUI-DynamiCrafterWrapper
APISR:
https://github.com/kijai/ComfyUI-APISR-KJ
减少生成帧数,使用bf16精度模型和安装xformers以减少显存的消耗
工作流备用链接:https://pan.quark.cn/s/30e3c414a66e
https://heehel.com/aigc/comfyui-dynamicrafter.html