//再不认真就输了!
//致力于发现AIGC动态与教程。

字节跳动双重盒子约束——新的视频对象画面内容控制技术

Boximator:通过双重盒子约束,精确控制视频中对象的位置、形状或运动路径。简单来说就是通过在图像上画出额外的方框(盒子Box)和添加文字提示来控制图像的动作。Box分为两种,软盒子和硬盒子,硬盒子用于精确定位,而软盒子用来控制对象在指定区域内自由移动。使用Boximator,你可以指定一个对象在视频的开始和结束时应该在哪里,以及它应该如何移动。

项目及演示:
https://boximator.github.io

论文:
https://arxiv.org/abs/2402.01566

视频介绍:
https://youtube.com/watch?v=reto_TYsYyQ

通过双重盒子约束实现对视频对象的精确控制。用户可以用硬盒子定义对象的起始和结束位置,而软盒子则允许对象在指定区域内自由移动,从而创造出自然的运动效果。Boximator的亮点在于其自我跟踪学习机制。即使没有直接的用户输入,模型也能预测对象的运动,确保视频流畅自然。这种智能预测降低了用户参与难度,提高了视频制作的效率。

AIGC专区:
https://heehel.com/category/aigc

教程专区:
https://heehel.com/category/ai-tutorial

举个例子,如果用户想制作一只小猫跳跃的视频,只需用硬盒子标出小猫的起始和结束位置,再用软盒子描述跳跃过程的大致范围。Boximator就会根据这些约束生成小猫跳跃的视频此外,Boximator还注重保留原始视频模型的优点。在训练过程中,基模型的权重被冻结,确保了视频质量不受影响。这种设计既提高了效率,又增强了模型的应用范围。

Boximator的插件式集成特性也让它可以轻松融入现有的视频制作工具中,为用户提供更多的创作选项。总之,Boximator简化了视频制作流程,让创作者能够更轻松地实现自己的创意。

https://heehel.com/aigc/lego-image-positioning-model7133.html

相关阅读:字节跳动发力,推出AI视频生成MagicVideoV2模型,超越Runway、Pika、SVD?-喜好儿aigc (heehel.com)

版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《字节跳动双重盒子约束——新的视频对象画面内容控制技术》
文章链接:https://heehel.com/aigc/boximator-control.html
本站资源仅供个人学习交流,未经许可不得用于商业用途,自行承担法律责任。
如有疑问,请联系微信:heehelcom

喜好儿——再不认真就输了!

致力于发现ai人工智能应用的新世界, 长期更新目前热门AI教程与动态!期待在这个工业变革时代中,希望你我都能发出一点光。

登录

找回密码

注册