【刘悦的技术博客】开源数字人整合包AniPortrait,对标阿里EMO,修复更新

开源数字人整合包AniPortrait的更新修复情况。原始版本存在视频仅生成3秒钟、没有声音的问题,作者通过修改参数设置实现了音频和视频的自动对齐。此外,作者还对模型进行了优化,提高了推理速度。如果速度仍然较慢,可以修改脚本参数。作者还接受了开发者的建议,计划更新模型以适应低端设备,并持续优化推理性能。

AniPortrait整合包夸克网盘备用下载链接:
https://pan.quark.cn/s/a847f41c846f
提取码:nPZt

腾讯的AI数字人项目AniPortrait是一个创新的技术框架,旨在通过音频和参考肖像图像生成高质量的动态视频。该项目的核心技术分为两个阶段:第一阶段,使用基于transformer的模型从音频输入中提取3D面部网格和头部姿势,并将它们投影到一系列2D面部关键点上;第二阶段,利用鲁棒扩散模型结合运动模块,将这些信息转换为逼真且时间上连贯的动态视频。

AniPortrait的技术特点包括能够捕捉音频中的微妙表情和嘴唇运动,以及与音频节奏同步的头部运动,从而生成逼真的动态人脸动画。此外,该项目还支持用户根据自己的喜好定制角色,包括头发合成等个性化功能。

腾讯于2024年3月宣布开源AniPortrait,这一举措不仅展示了其在静态图像动态化技术领域的领先地位,也为行业内的其他研究者和开发者提供了研究和应用的基础。开源后,用户可以通过安装基础环境并遵循相关教程来体验整个流程。

项目地址:https://github.com/Zejun-Yang/AniPortrait

AIGC专区:
https://heehel.com/category/aigc

工具箱:
https://heehel.com/ai-tools#ai-3d

https://heehel.com/aigc/aniportrait.html

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
今日签到
有新私信 私信列表
搜索