Diffusion Transformer (DiT) 的最新进展已展现出在制作高质量视频内容方面的卓越能力。尽管如此，基于变压器的扩散模型有效生成具有可控运动的视频的潜力仍然是一个有限的探索领域。本文介绍了 Tora，这是第一个面向轨迹的 DiT 框架，它同时集成了文本、视觉和轨迹条件来生成视频。
具体来说，Tora 由轨迹提取器（TE）、时空 DiT 和运动引导融合器（MGF）组成。 TE 使用 3D 视频压缩网络将任意轨迹编码为分层时空运动块。 MGF 将运动补丁集成到 DiT 块中，以生成遵循轨迹的一致视频。我们的设计与 DiT 的可扩展性无缝结合，允许精确控制具有不同时长、宽高比和分辨率的视频内容动态。
大量的实验证明了 Tora 在实现高运动保真度方面的卓越表现，同时还精心模拟了物理世界的运动。简单来说，Tora就像一个高级的视频制作工具，可以根据你提供的文字描述、图片或者物体移动的轨迹，自动创造出一段视频。
（Tora视频生成框架项目介绍链接在下方👇）
Tora的核心特点包括：
- 轨迹导向：它能够根据给定的轨迹精确控制视频中物体的运动。
- 多条件融合：不仅可以根据轨迹生成视频，还能结合文本和图像信息，使生成的视频内容更加丰富和准确。
- 高质量输出：在720p的分辨率下，Tora能够生成长达204帧的稳定视频，保持了良好的运动控制和物理世界动态的仿真。
Tora 视频生成框架的优势：
- 高度控制性：Tora能够根据文本、图像和轨迹精确控制视频内容和物体运动，为用户提供了高度的自定义能力。
- 高质量输出：Tora能够生成高分辨率且物理动态仿真度高的视频，这对于需要逼真视频内容的应用场景非常有用。
- 多模态输入：支持多种输入条件，包括文本描述、静态图像和动态轨迹，使得视频生成更加灵活和丰富。
- 扩展性和适应性：基于DiT的架构具有良好的扩展性，可以适应不同的视频长度、分辨率和宽高比，适用于多种视频制作需求。
- 创新性：Tora采用了新颖的轨迹提取和运动引导融合技术，推动了视频生成技术的发展。
Tora 视频生成框架面临的挑战：
- 技术复杂性：Tora的架构和技术实现相对复杂，可能需要专业知识和技能来操作和维护。
- 计算资源需求：生成高质量视频可能需要较高的计算能力和内存，这可能限制了在资源受限的环境中的应用。
- 数据需求：Tora的训练和优化可能需要大量的标注数据，包括视频、文本和轨迹信息，数据收集和处理可能是一个挑战。
- 用户界面和体验：对于非专业用户来说，如何设计易于使用的用户界面，使他们能够充分利用Tora的能力，是一个需要考虑的问题。
- 伦理和法律问题：自动视频生成技术可能引发版权、隐私和伦理问题，特别是在生成逼真人物或场景时。
