百度推出AI视频生成UniVG
基于扩散的视频生成受到了广泛的关注，并在学术界和工业界取得了相当大的成功。然而，目前的工作主要集中在单目标或单任务视频生成，例如由文本、图像或文本和图像的组合驱动的生成。这不能完全满足现实应用场景的需求，因为用户可能会以灵活的方式单独或组合输入图像和文本条件。为了解决这个问题，百度提出了一种统一模式视频生成系统，该系统能够处理跨文本和图像模式的多个视频生成任务。为此，百度从生成自由度的角度重新审视系统内的各种视频生成任务，并将它们分为高自由度和低自由度AI视频生成类别。对于高自由度视频生成，百度采用多条件交叉注意力来生成与输入图像或文本的语义一致的视频。
对于低自由度视频生成，我们引入偏置高斯噪声来代替纯随机高斯噪声，这有助于更好地保留输入条件的内容。百度的方法在公共学术基准MSR-VTT上实现了最低的Fr\'echet视频距离（FVD），在人类评估中超越了当前的开源方法，并且与当前的闭源方法Gen2相当。
UniVG项目展示页：
https://huggingface.co/papers/2401.09084
https://heehel.com/aigc/magicvideov2.html
https://heehel.com/aigc/dragnuwa.html
