//再不认真就输了!
//致力于发现AIGC动态与教程。

使劲卷,百度推出AI视频生成UniVG,能够统一模态生成

百度推出AI视频生成UniVG


基于扩散的视频生成受到了广泛的关注,并在学术界和工业界取得了相当大的成功。然而,目前的工作主要集中在单目标或单任务视频生成,例如由文本、图像或文本和图像的组合驱动的生成。这不能完全满足现实应用场景的需求,因为用户可能会以灵活的方式单独或组合输入图像和文本条件。为了解决这个问题,百度提出了一种统一模式视频生成系统,该系统能够处理跨文本和图像模式的多个视频生成任务。为此,百度从生成自由度的角度重新审视系统内的各种视频生成任务,并将它们分为高自由度和低自由度AI视频生成类别。对于高自由度视频生成,百度采用多条件交叉注意力来生成与输入图像或文本的语义一致的视频。


对于低自由度视频生成,我们引入偏置高斯噪声来代替纯随机高斯噪声,这有助于更好地保留输入条件的内容。百度的方法在公共学术基准MSR-VTT上实现了最低的Fr\'echet视频距离(FVD),在人类评估中超越了当前的开源方法,并且与当前的闭源方法Gen2相当。

UniVG项目展示页:
https://huggingface.co/papers/2401.09084

https://heehel.com/aigc/magicvideov2.html

https://heehel.com/aigc/dragnuwa.html

版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《使劲卷,百度推出AI视频生成UniVG,能够统一模态生成》
文章链接:https://heehel.com/aigc/univg.html
本站资源仅供个人学习交流,未经许可不得用于商业用途,自行承担法律责任。
如有疑问,请联系微信:heehelcom

评论 抢沙发

喜好儿——再不认真就输了!

致力于发现ai人工智能应用的新世界, 长期更新目前热门AI教程与动态!期待在这个工业变革时代中,希望你我都能发出一点光。

登录

找回密码

注册