腾讯发布开源AI工具MotionCtrl,支持摄像机路径设置,能够让视频中镜头和物体按规定轨迹运动,支持animatediff。
MotionCtrl 是一种统一且灵活的运动控制器,用于AI视频生成。它可以引导视频生成模型生成具有特定对象运动轨迹的视频。
该AI控制器能够独立有效地管理视频生成中的摄像机和物体运动。并且可以部署在AnimateDiff上,还能与其他AI视频生成插件,如stable video diffusion集成一体。
根据给定的物体轨迹描述,可以生成比如风铃、向日葵、纸飞机等不同对象的运动。
MotionCtrl的运动条件由AI相机姿势和轨迹决定,与对象的外观或形状几乎没有影响,属于相对通用的模型,也就是说,一旦训练完成,画中物体能够很好地保持运动一致性。通过大量的实验证明,MotionCtrl 相对于现有方法具有更好的性能。
它的出现,使AI视频生成质量上达到更加丰富多样的视频画面,为AI视频动画领域带来了新的可能性。
MotionCtrl项目展示链接:
https://wzhouxiff.github.io/projects/MotionCtrl/
MotionCtrl项目代码链接:
https://github.com/TencentARC/MotionCtrl
AIGC专区:
https://heehel.com/category/aigc