喜好儿网由Microsoft Azure AI开发的MM-VID系统结合了GPT-4V的能力和其他视觉、音频和语音处理工具，旨在处理长视频和复杂任务。这个系统具有多重功能，包括自动识别和解释视频中的元素，理解视频故事线，并将多模态信息（如视觉、音频和语言对话）转录成详细文本脚本，以使大型语言模型能够理解视频内容。
MM-VID能够执行的任务包括：
1、音频描述：为视觉障碍人士提供视频内容的详细音频描述。（见上方视频演示：憨豆先生考试↑）
2、基于视频的问答：根据视频内容回答问题，需要深入理解视频中的情节和上下文。
3、视频摘要：创建视频的摘要，突出显示最重要或最有趣的部分。
4、说话人识别：在视频中识别不同的说话人。
5、角色识别：识别视频中的角色并追踪他们的行为。
6、多模态推理：结合视觉、音频和文本信息进行高级推理。
MM-VID能够执行多项任务，也能为视觉障碍人士提供视频内容的AI音频描述，基于视频内容回答问题，创建视频摘要，识别视频中的说话人和角色，进行多模态推理等。该系统在处理不同类型和长度的视频方面表现出色，使视频内容的理解更加深入和高效。例如在视频游戏中预测可能的下一步操作，或与图形用户界面互动。
MM-Vid的详细原理：
1、视频到脚本的生成：MM-Vid使用GPT-4V来将视频中的多模态元素，包括视觉图像、音频信号和语言对话，转录成详细的文本脚本。这个脚本详细描述了视频中的角色动作、行为、表情和对话，为后续的视频理解提供了基础。
2、高级视频理解功能：生成的脚本使得大型语言模型能够进行深入的视频理解。这包括音频描述，为视觉受损用户提供视频中发生的视觉事件的详细描述，从而使他们能够更好地理解视频内容。
3、角色识别：MM-Vid能够识别和追踪视频中的不同角色，从而增强对角色动态的理解。这对于理解视频中的互动和情节发展至关重要。
多模态高级理解：系统能够结合视觉和音频信息，深入理解视频内容的含义和复杂情境。这使MM-Vid能够进行更高级的视频理解和推理，而不仅仅是表面文字转录
实验结果：MM-Vid在处理不同类型和长度的视频方面表现出色。这表明系统能够适应多种视频内容，提供一致的视频理解能力，从而满足不同应用的需求。
4、交云环境的应用潜力：MM-Vid还展示了在交互环境中的应用潜力，包括在视频游戏和图形用户界面中的应用。这表明系统能够与用户互动，并提供实时反馈和支持，从而改善用户体验。
总之，MM-Vid提供了一个完整的工作流程，从视频内容提取和生成脚本，到实现高级视频理解任务。这一过程不仅整合了多模态信息，还进行了深入的分析和应用，使视频内容的理解变得更深入和全面。
工作流程：
1、多模态预处理：对输入视频文件进行初步处理，使用ASR工具从视频中提取对话文本，并根据场景检测算法将视频分割成多个短片段，通常包含10帧视频。
2、外部知识收集：系统收集与视频相关的外部信息，如元数据、标题、摘要和角色快照，以提高视频内容理解的深度和准确性。
3、剪辑级视频描述生成：GPT-4V接收剪辑级视频帧作为输入，为每个视频剪辑生成详细描述，包括角色的动作、表情和对话。
4、脚本生成：系统使用GPT-4根据剪辑级视频描述、ASR结果和视频元数据（如果有）生成完整视频的连贯脚本，该脚本详细记录了视频中的事件和对话。
MM-VID的目标是填补现有技术在长视频理解领域的不足，提供新的工具，以改善我们分析和理解日常生活中遇到的视频内容。该系统可以显著提高视频内容分析的效率和准确性，尤其适用于长视频和复杂任务的处理。
MM-VID能力：
1、视频系列总结：MM-VID能够对视频系列进行概括总结，提供长篇视频内容的简洁概述。
2、跨集剧情推理：该系统能够进行跨越多个剧集的剧情推理，理解并连接随时间展开的故事情节。
3、角色旅程描述：MM-VID提供详尽的角色旅程描述，追踪角色在剧集中的发展和行动。
4、基于视频内容的问答互动：系统促进了基于视频内容的问答互动，使用户能够提出有关视频内容的具体问题。
5、角色识别：通过结合角色照片等视觉提示，MM-VID能够识别视频内容中的不同角色。
6、说话者识别：系统使用视觉提示来帮助识别说话者，并正确归属语音，从而提高了自动语音识别（ASR）的准确性。
7、互动环境应用：MM-VID可以在互动环境中充当代理，处理流式视频帧，并在这些环境中协助用户完成任务。
8、理解第一人称视频：MM-VID能够理解第一人称视频内容，例如头戴式摄像机拍摄的镜头，从而帮助用户在这些视频中完成实际任务。
9、理解长达一小时的视频：系统能够以多种模式理解长达一小时的视频，并准确定位特定事件的时间戳。
10、互动环境中的应用：MM-VID在互动环境中显示出潜力，例如在视频游戏中预测可能的下一步操作或与图形用户界面（GUI）进行互动。
项目及演示：https://multimodal-vid.github.io/
论文：https://arxiv.org/abs/2310.19773
