UniVG是百度推出的一种视频生成模型，其特点是针对高自由度和低自由度两种任务采用不同的生成方式，以更好地平衡两者之间的关系。基于扩散的视频生成受到了广泛的关注，并在学术界和工业界取得了相当大的成功。然而，目前的工作主要集中在单目标或单任务视频生成，例如由文本、图像或文本和图像的组合驱动的生成。这不能完全满足现实应用场景的需求，因为用户可能会以灵活的方式单独或组合输入图像和文本条件。
简单来说，高自由度任务是指那些允许更大程度的创意和变化的生成任务，而低自由度任务则更注重细节和精确度的要求，能够提高生成视频的质量和准确性。UniVG能够处理各种文本和图像的组合输入，并根据这些输入生成相应的视频。这使得UniVG非常适合用于各种实际应用场景，如视频制作、虚拟现实、游戏设计等。
UniVG官网链接：https://top.aibase.com/tool/univg
更多示例：https://univg-baidu.github.io/
AI工具专区：https://heehel.com/category/ai-soft
AIGC专区：https://heehel.com/category/aigc
为了解决这个问题，他们提出了一种统一模式视频生成系统，该系统能够处理跨文本和图像模式的多个视频生成任务。为此，他们从生成自由度的角度重新审视系统内的各种视频生成任务，并将它们分为高自由度和低自由度视频生成类别。对于高自由度视频生成，采用多条件交叉注意力来生成与输入图像或文本的语义一致的视频。
对于低自由度视频生成，引入偏置高斯噪声来代替纯随机高斯噪声，这有助于更好地保留输入条件的内容。他们的方法在公共学术基准MSR-VTT上实现了最低的Fr\'echet视频距离（FVD），在人类评估中超越了当前的开源方法，并且与当前的闭源方法Gen2相当。
该模型基于扩散原理的方法在学术和产业界引起了广泛关注，并取得显著成就。UniVG可以处理各种文本和图像的组合输入，将高自由度视频生成和低自由度视频生成重新定义为多项任务，并采用“多条件交叉注意力”技术生成与输入图像或文本语义高度一致的视频。
多条件交叉注意力模型是一种注意力机制，其目的是帮助模型在处理复杂任务时更有效地聚焦于重要的信息和上下文。这种模型的主要思想是，在处理不同的任务或数据时，模型需要从输入中提取不同的特征和信息，因此需要能够灵活地调整注意力分配，以便更好地处理不同条件下的任务。
此外，UniVG采用了偏置高斯噪声方法，相较于传统的完全随机高斯噪声更能有效地保留输入条件的原始内容。在性能方面，UniVG在MSR-VTT视频数据库上表现出色，获得了最低的帧间视频差异性度量（Frame Video Distance, FVD），超越了当前的开源方法，与业界领先的闭源方法Gen2不相上下，显示出了卓越的实用价值和技术优势。
偏置高斯噪声方法是一种特殊的噪声生成技术，它在生成高斯噪声的同时引入了一个偏置参数。这个偏置参数使得生成的噪声数据具有了一定的方向性和趋势，而不是完全随机的。通过调整这个偏置参数，可以更好地模拟现实世界中的噪声模式，从而在数字图像处理中提高准确性和稳定性。这种技术被广泛应用于图像增强、去噪、分割等任务，为处理数字图像提供了更为有效的工具。
https://heehel.com/aigc/ai-cover-singer.html
https://heehel.com/aigc/byrdhouse-ai-translation-tools.html
