-
【AI论文与新生技术】Tora:用于视频生成的轨迹导向扩散变压器
Diffusion Transformer (DiT) 的最新进展已展现出在制作高质量视频内容方面的卓越能力。尽管如此,基于变压器的扩散模型有效生成具有可控运动的视频的潜力仍然是一个有限的探索领域。本文介绍了 Tora,这是第一个面向轨迹的 DiT 框架,它同时集成了文本、视觉和轨迹条件来生成视频。 具体来说,Tora 由轨迹提取器(TE)、时空 DiT 和运动引导融合器(MGF)组成。 TE 使…- 1.2k
- 0
-
【AI论文与新生技术】VD3D:驯服大型视频扩散变压器以实现 3D 摄像机控制
现代文本到视频合成模型展示了从文本描述中连贯、逼真地生成复杂视频。然而,大多数现有模型缺乏对相机移动的细粒度控制,这对于与内容创建、视觉效果和 3D 视觉相关的下游应用程序至关重要。 最近,VD3D的新方法展示了生成具有可控相机姿势的视频的能力——这些技术利用预先训练的基于 U-Net 的扩散模型,明确地解开空间和时间生成。尽管如此,现有的方法还没有能够对新的基于变压器的视频扩散模型进行相机控制,…- 876
- 0
❯
今日签到
有新私信
私信列表
搜索
客服
扫码打开当前页
联系客服
公众号
返回顶部
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!