//再不认真就输了!
//致力于发现AIGC动态与教程。

声音生成3D面部动画,神奇的Media2Face,黑科技AI工具

随便录个声音就能生成3D面部动画,Media2Face,黑科技了这是。
上海科技大学和香港大学等,共同开发了语音合成3D面部动画的AI模型Media2Face。它能够根据输入的声音,来生成和语音同步的、表现力相当丰富的三维面部动画。
他们引入了广义神经参数,有点不明觉厉的技术,这是一种自动编码器,可以把面部的几何面映射到表情上潜在空间。


Media2Face,同时能够让用户对生成的三维面部动画,进行更有个性化的微调,例如愉快,伤心等表情。又或者让它们进行对话。
它还支持好几种的信息输入,比如音频输入,文本输入,图像输入这些。利用 GNPFA 从大量视频中提取高质量的表情和准确的头部姿势。这一过程产生了 M2F-D 数据集,这是一个大规模、多样化的共同语音 3D面部动画数据集,具有注释良好的情感和风格标签。
通过大量的实验,我们证明了我们的模型不仅在面部动画合成方面具有高保真度,还拓宽了 3D 面部动画的表现力和风格适应性的范围。


歌唱表现是最令我惊讶的,它能根据歌曲不同的旋律作出不同的情感,神奇啊这是。如果未来能够加入贴图功能的话那就太赞了,你们说是吧。
但是目前代码还没公布,喜好儿网会持续帮大家留意。

Media2Face项目展示链接:
https://sites.google.com/view/media2face

Media2Face论文链接:
https://arxiv.org/abs/2401.15687

更多工具:
https://heehel.com/category/ai-soft

AI三维生成: https://heehel.com/category/aigc?cid=9

AIGC专区:
https://heehel.com/category/aigc

https://heehel.com/aigc/ultravatar-pbr-model.html

https://heehel.com/aigc/triplane-gaussian.html

版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《声音生成3D面部动画,神奇的Media2Face,黑科技AI工具》
文章链接:https://heehel.com/aigc/media2face.html
本站资源仅供个人学习交流,未经许可不得用于商业用途,自行承担法律责任。
如有疑问,请联系微信:heehelcom

喜好儿——再不认真就输了!

致力于发现ai人工智能应用的新世界, 长期更新目前热门AI教程与动态!期待在这个工业变革时代中,希望你我都能发出一点光。

登录

找回密码

注册