Story-to-Motion项目——无限延长角色动画的文本驱动生成工具

商汤科技研究院最新发布的AI人工智能项目Story-to-Motion在文本驱动AI动画生成领域取得了重大突破。该系统能够处理复杂的文本描述,并将其转换为具体的动作位置信息,不仅能生成单一动作,还能连续地生成一系列动作,创造出连贯的动画效果。最引人注目的特点之一是,Story-to-Motion可以生成无限长的角色动画。这意味着,只要提供的文本故事足够长内容连续,系统就能持续根据文本内容生成相应的角色动作行为,从而创造出持续不断的动画序列

Story-to-Motion项目——无限延长角色动画的文本驱动生成工具Story-to-Motion项目——无限延长角色动画的文本驱动生成工具

主要原理:

  1. 文本解析与动作调度:该系统首先运用大型AI人工智能语言模型对输入的长文本故事进行解析,提取关键信息,如角色的动作、位置和情境。这些信息被转化为一系列(文本,位置)为后续的动作生成提供基础。
  2. 文本驱动的动作检索:在获取信息后,系统根据文本内容检索合适的动作。这一步骤融合了动作匹配技术、动作语义理解和轨迹约束,确保生成的动作既与文本内容相符,又在空间上合理。
  3. 动作合成与过渡处理:项目采用了独特的渐进式掩码变换器来处理动作之间的过渡。这一设计解决了动作合成中的一些典型问题,如不自然的姿势和脚部滑动,确保动作的流畅自然。
  4. 无限动画生成:由于系统能够连续处理文本中的动作描述,它能够不断生成无限长的动画序列。只要文本故事保持连续,动画也将持续生。

更多精彩内容请访问喜好儿官方网址链接:https://heehel.com/

Story-to-Motion项目——无限延长角色动画的文本驱动生成工具

 

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
今日签到
有新私信 私信列表
搜索