Boximator:通过双重盒子约束,精确控制视频中对象的位置、形状或运动路径。简单来说就是通过在图像上画出额外的方框(盒子Box)和添加文字提示来控制图像的动作。Box分为两种,软盒子和硬盒子,硬盒子用于精确定位,而软盒子用来控制对象在指定区域内自由移动。使用Boximator,你可以指定一个对象在视频的开始和结束时应该在哪里,以及它应该如何移动。
项目及演示:
https://boximator.github.io
论文:
https://arxiv.org/abs/2402.01566
视频介绍:
https://youtube.com/watch?v=reto_TYsYyQ
通过双重盒子约束实现对视频对象的精确控制。用户可以用硬盒子定义对象的起始和结束位置,而软盒子则允许对象在指定区域内自由移动,从而创造出自然的运动效果。Boximator的亮点在于其自我跟踪学习机制。即使没有直接的用户输入,模型也能预测对象的运动,确保视频流畅自然。这种智能预测降低了用户参与难度,提高了视频制作的效率。
AIGC专区:
https://heehel.com/category/aigc
教程专区:
https://heehel.com/category/ai-tutorial
举个例子,如果用户想制作一只小猫跳跃的视频,只需用硬盒子标出小猫的起始和结束位置,再用软盒子描述跳跃过程的大致范围。Boximator就会根据这些约束生成小猫跳跃的视频此外,Boximator还注重保留原始视频模型的优点。在训练过程中,基模型的权重被冻结,确保了视频质量不受影响。这种设计既提高了效率,又增强了模型的应用范围。
Boximator的插件式集成特性也让它可以轻松融入现有的视频制作工具中,为用户提供更多的创作选项。总之,Boximator简化了视频制作流程,让创作者能够更轻松地实现自己的创意。
https://heehel.com/aigc/lego-image-positioning-model7133.html
相关阅读:字节跳动发力,推出AI视频生成MagicVideoV2模型,超越Runway、Pika、SVD?-喜好儿aigc (heehel.com)