怎么在comfyui中使用Live Portrait(实时肖像)在图像和视频中添加面部手势动作?

怎么在comfyui中使用Live Portrait(实时肖像)在图像和视频中添加面部手势动作?

目前已经有多个基于扩散模型的肖像参考框架发布。但这个有所不同。LivePortrait 是一个基于视频驱动的肖像动画框架,经过 6900 万个高质量帧的训练。它采用不同的方法,而不是扩散模型的原理,提供更好的计算效率和可控性优势,而不会对 GPU 造成太大压力。该研究论文可以通过相应的链接访问。测试结果已与生成的示例一起发布在论文中,在安装 PyTorch 的机器中的 RTX 4090 GPU 上花费了 12.8 毫秒。我们已经体验过使用口型同步生成视频,但这还不止于此。现在,可以将其安装到 ComfyUI 中。让我们看看如何进行安装。

安装Live portrait(实时肖像)

  • 1. 要使用Live肖像,您必须在PC上安装ComfyUI 。(这步应该都没问题)
  • 2. 进入“ ComfyUI/custom_nodes ”文件夹。导航到文件夹地址栏键入“ cmd ”打开命令提示符,粘贴下面提供的命令,然后等待安装完成。相应的模型会自动下载到“ ComfyUI/models/liveportrait ”文件夹中。您无需手动下载。
git clone https://github.com/kijai/ComfyUI-LivePortraitKJ.git

Live Portrait选择这个:

怎么在comfyui中使用Live Portrait(实时肖像)在图像和视频中添加面部手势动作?

  • 3. 在这里,Insight Face 是必需的依赖项,因此请确保您已经安装了它,如果没有,请使用以下命令:

对于普通 ComfyUI 用户,打开命令提示符并键入:pip install insightface

请记住,insightface 属于非商业许可,这意味着您可以将其用于研究,而不是商业用途。

对于 ComfyUI 便携式用户,打开命令提示符并键入:python_embeded/python.exe -m pip install insightface

除了Insightface,现在您还可以使用Google的MediaPipe(开源)进行商业部署,但人脸检测不会像Insight人脸那么好。如果 Insight Face 出现任何安装错误,可以从故障排除部分进行修复。

  • 4.然后重新启动ComfyUI并单击“刷新”以清除缓存。

安装高级Live Portrait实时肖像:

  • 1. 单击“更新 ComfyUI ”按钮更新 ComfyUI。
  • 2. 在 ComfyUI 管理器中,只需搜索“高级实时肖像”并单击安装按钮即可安装相应的自定义节点。
  • 2. 重新启动您的 ComfyUI。该工作流程可以在“ custom_nodes/ComfyUI-AdvancedLivePortrait/sample ”文件夹中找到。

Live Portrait工作流

  • 1. 工作流程可以在“ ComfyUI/custom_nodes/ComfyUI-LivePortraitKJ/examples ”文件夹中找到。或者,可以从Github 链接下载。工作流程有各种不同的类型 - (a) 图像到视频 (b) 视频到视频 (c) 使用网络摄像头实时面部捕捉。

(Live Portrait基础工作流夸克网盘下载链接👇)

只需拖放到 ComfyUI 中即可。

加载工作流程后,您将看到红色的缺失节点。导航到ComfyUI管理器,点击“安装缺少的自定义节点”,将所有节点一一安装并重启ComfyUI即可生效。

怎么在comfyui中使用Live Portrait(实时肖像)在图像和视频中添加面部手势动作?

  • 2. 上传图像以将面部运动添加到“加载图像”节点中。
  • 3. 将您的参考视频上传到“加载视频”节点。这些示例可以在“ ComfyUI/custom_nodes/ComfyUI-LivePortraitKJ/assets/examples/driven ”文件夹中找到。或者,您可以从GitHub下载它。

怎么在comfyui中使用Live Portrait(实时肖像)在图像和视频中添加面部手势动作?

将所有设置设置为默认,然后单击“队列”生成视频。几秒钟后,您将获得输出到“视频合并”节点。

您可以从“实时肖像处理”节点控制头部运动和眼球运动。为了获得最佳效果,请始终上传相同宽高比的图像。 (例如 1024 x 1024、768 x 768 或 512 x 512)

怎么在comfyui中使用Live Portrait(实时肖像)在图像和视频中添加面部手势动作?

这是我们所做的一些测试。眨眼、嘴唇和眉毛的动作是从参考视频中捕捉到的。这仅适用于面部手势,如果你想模仿整个身体的动作,那就不行了。

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
今日签到
有新私信 私信列表
搜索