随便录个声音就能生成3D面部动画,Media2Face,黑科技了这是。
上海科技大学和香港大学等,共同开发了语音合成3D面部动画的AI模型Media2Face。它能够根据输入的声音,来生成和语音同步的、表现力相当丰富的三维面部动画。
他们引入了广义神经参数,有点不明觉厉的技术,这是一种自动编码器,可以把面部的几何面映射到表情上潜在空间。
Media2Face,同时能够让用户对生成的三维面部动画,进行更有个性化的微调,例如愉快,伤心等表情。又或者让它们进行对话。
它还支持好几种的信息输入,比如音频输入,文本输入,图像输入这些。利用 GNPFA 从大量视频中提取高质量的表情和准确的头部姿势。这一过程产生了 M2F-D 数据集,这是一个大规模、多样化的共同语音 3D面部动画数据集,具有注释良好的情感和风格标签。
通过大量的实验,我们证明了我们的模型不仅在面部动画合成方面具有高保真度,还拓宽了 3D 面部动画的表现力和风格适应性的范围。
歌唱表现是最令我惊讶的,它能根据歌曲不同的旋律作出不同的情感,神奇啊这是。如果未来能够加入贴图功能的话那就太赞了,你们说是吧。
但是目前代码还没公布,喜好儿网会持续帮大家留意。
Media2Face项目展示链接:
https://sites.google.com/view/media2face
Media2Face论文链接:
https://arxiv.org/abs/2401.15687
更多工具:
https://heehel.com/category/ai-soft
AI三维生成: https://heehel.com/category/aigc?cid=9
AIGC专区:
https://heehel.com/category/aigc
https://heehel.com/aigc/ultravatar-pbr-model.html
https://heehel.com/aigc/triplane-gaussian.html