//再不认真就输了!
//致力于发现AIGC动态与教程。

GAIA:微软开创性的语音与图像合成AI人工智能技术,创造自然表情的会话头像视频

微软的GAIA项目能够从语音和单张肖像图片合成自然的会说话的头像视频,它甚至支持诸如“悲伤”、“张开嘴”或“惊讶”等文本提示,来指导视频生成。还允许你精确控制虚拟人物的每个面部动作,比如微笑或惊讶的表情。可以接受语音、视频或文字指令创建会说话的人物头像视频。

项目及演示:https://microsoft.github.io/GAIA/
论文:https://arxiv.org/abs/2311.15230

GAIA具有以下主要功能:

  1. 语音生成虚拟人物:
    用户可通过提供语音录音,GAIA将根据录音内容生成一个会说话的虚拟人物视频。
    虚拟人物的嘴唇和面部表情会与语音同步,呈现出自然的口型和表情变化。
  2. 视频观察生成虚拟人物:
    GAIA能够观察真实视频中的人物动作,并根据观察结果创建一个虚拟人物,模仿原始视频中的动作。
    这使用户能够通过现实场景快速生成虚拟人物,保留原始动作的细节和风格。
  3. 虚拟人物头部姿势控制:
    用户可以直接告诉GAIA虚拟人物头部应采取的特定动作,如点头或摇头。
    这项功能使用户能够定制虚拟人物的姿态,使其更符合用户需求。
  4. 表情精确控制:
    GAIA提供了对虚拟人物每个面部动作的精确控制,用户可以调整微笑、惊讶等表情,以达到更高的个性化和表现力。
  5. 文本指令生成虚拟人物动作:
    用户可以通过提供文字指令,例如“请微笑”等,让GAIA生成虚拟人物按照指令执行相应动作的视频。
    这为用户提供了一种简单而直观的方式来与虚拟人物进行互动和定制。

GAIA的主要工作原理可以总结为以下几个步骤:

  1. 分离运动和外观表示:
    GAIA首先对每个视频帧进行处理,将其分离为运动和外观两部分的表示。
    通过这一步骤,模型能够区分视频中由于说话而产生的运动(如嘴唇运动)和那些保持不变的外观部分(如头发、眼睛的位置)。
  2. 使用变分自编码器(VAE):
    变分自编码器(VAE)被用来编码这些分离表示,将其转换为潜在空间中的向量。
    模型通过学习如何准确地捕捉和再现人物的面部特征和表情,从而提高对视频帧的表征能力。
  3. 基于语音的运动序列生成:
    扩散模型经过优化,以生成基于语音序列和参考肖像图片的运动序列。
    这意味着模型可以根据给定的语音输入(例如一段对话)生成相应的面部运动,使虚拟头像能够生动地表达说话内容。
  4. 在推理过程中的应用:
    在实际应用中,扩散模型接受输入的语音序列和参考肖像图片作为条件,并生成运动序列。
    生成的运动序列随后被解码成视频,展示虚拟头像的说话和表情动作,使整个过程在实时推理中能够快速实现。
  5. 控制和文本指令的应用:
    GAIA具有进一步的控制能力,允许通过编辑生成过程中的面部标记点来控制任意面部属性。
    另外,模型还可以根据文本指令生成虚拟头像的视频剪辑,为用户提供了更灵活的

GAIA不仅可以根据语音自动生成头部动作,还允许用户自定义头部动作。例如,用户若希望虚拟头像在说话时能够摇头或点头,他们可以指定这些动作,而GAIA将能够在不影响嘴唇运动与语音同步的情况下实现这些头部动作。这一功能大大提升了虚拟头像视频生成的灵活性和可控性,使其更适用于各种不同的应用场景。

https://heehel.com/aigc/stranger-things.html

https://heehel.com/aigc/pika-labs1-0-animation-production.html

 

版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《GAIA:微软开创性的语音与图像合成AI人工智能技术,创造自然表情的会话头像视频》
文章链接:https://heehel.com/aigc/gaia-microsoft-groundbreaking-technology.html
本站资源仅供个人学习交流,未经许可不得用于商业用途,自行承担法律责任。
如有疑问,请联系微信:heehelcom

评论 抢沙发

喜好儿——再不认真就输了!

致力于发现ai人工智能应用的新世界, 长期更新目前热门AI教程与动态!期待在这个工业变革时代中,希望你我都能发出一点光。

登录

找回密码

注册