微软对标腾讯,更新了他们的全新AI视频生成模型,DragNUWA 1.5!让用户可以通过特定路径对图像进行动画处理。这个模型以Stable Video Diffusion作为基础,让用户可以通过特定路径对图像进行动画处理。
DragNUWA 1.5以Stable Video Diffusion作为基础,可以利用文本、图像和轨迹这三个基本控制因素,以语义、空间和时间的方式来生成高度可控的视频。在生成视频之前,用户可以在图像上绘制箭头标记,标记的方向会直接影响背景和物体的运动。生成更接近我们想象中的视频效果。
这是对标腾讯的MotionCtrl吗?
如果你标记的不是主体,镜头就会按照你标记的方向运动,相反,主体就会按照标记的方向运动,让用户能够更好地调整细节动作。
可以说,这是在追赶Runway的动态笔刷吗?阿喜只能说一句加油吧!2024年AI视频领域的竞争越来越激烈,就让我们期待更多令人惊喜的创新吧。
DragNUWA项目代码链接:
https://github.com/ProjectNUWA/DragNUWA
DragNUWA项目论文链接:
https://arxiv.org/abs/2308.08089
DragNUWA项目在线试用:
https://huggingface.co/spaces/yinsming/DragNUWA
AIGC专区:
https://heehel.com/category/aigc
https://heehel.com/aigc/motionctrl.html
https://heehel.com/aigc/runwaml-motion-brush.html