Mira是腾讯的Mini Sora项目,MiraData是为了达成目标而开源的高质量视频数据集,在视频时长、视频描述细节、运动强度和视觉质量方面都超越了以前的数据集。
视频来源由人工挑选,由GPT-4V生成结构化视频描述,从四个不同的角度(主体、背景、运镜、风格)详细描述视频。
视频数据集在 Sora 等视频生成中发挥着至关重要的作用。然而,现有的文本视频数据集在处理长视频序列和捕获镜头过渡方面往往存在不足。为了解决这些限制,我们引入了 MiraData,这是一个专门为长视频生成任务设计的视频数据集。此外,为了更好地评估视频生成中的时间一致性和运动强度,我们引入了 MiraBench,它通过添加 3D 一致性和基于跟踪的运动强度指标来增强现有基准。您可以在我们的研究论文中找到更多详细信息。
(MiraData项目链接在下方👇)
MiraData 的主要特点
长视频时长:与以前的数据集不同,以前的数据集视频剪辑通常非常短(通常小于 20 秒),MiraData 专注于平均时长为 72 秒的未剪辑视频片段。这种延长的持续时间允许对视频内容进行更全面的建模。
结构化字幕:MiraData 中的每个视频都附有结构字幕。这些标题从不同角度提供了详细描述,增强了数据集的丰富性。字幕平均长度为318字,保证了视频内容的全面表达。