基于Web的一个模型动作捕捉免费开源AI工具MiKaPo ：可以实时捕捉视频中人物动作

MiKaPo 是一款创新的基于Web的动作捕捉工具，专为二次元爱好者和动画制作者设计。它于2024年9月30日正式发布，凭借其无需任何外部设备即可捕捉视频中人物动作并实时应用到3D模型上的特性，迅速吸引了广泛的关注。

(免费开源实时捕捉视频中人物动作捕捉AI工具MiKaPo详情👇)

这款工具的核心优势在于它的易用性和实时性。用户只需在浏览器中打开MiKaPo，即可开始使用。无论是上传视频还是使用摄像头输入，MiKaPo都能快速捕捉到人物的动作，并将这些动作同步到MMD（MikuMikuDance）模型上。这不仅包括全身动作，还涵盖面部表情，为用户提供了全方位的动作捕捉体验。

MiKaPo的开源特性意味着它是完全免费的，用户无需安装任何程序或购买设备即可使用。它基于前沿的技术栈构建，包括BabylonJS用于3D渲染，babylon-mmd用于支持MMD模型，以及Mediapipe用于3D姿态检测。这些技术的结合，使得MiKaPo能够提供流畅且准确的动作捕捉效果。

此外，MiKaPo的开发团队正在计划推出一个更高级的Electron桌面版本，这将包括更多功能，如用户模型选择、动画导出，以及与Ollama的集成，后者是一个智能纸片人桌宠。这些新功能的加入，将进一步增强MiKaPo的实用性和趣味性。

MiKaPo的开发过程中面临的主要挑战是如何有效地利用Mediapipe检测到的3D关键点来控制MMD模型，以及如何优化实时更新的性能。开发团队通过不断的技术创新和优化，成功克服了这些挑战，为用户提供了一个既强大又易于使用的工具。

MiKaPo的功能特点

1. 浏览器内运行：无需安装额外软件，直接在浏览器中使用
2. 实时AI捕捉：使用谷歌Mediapipe AI框架，快速识别与跟踪动作
3. 多种输入方式：支持摄像头实时捕捉和视频文件上传
4. 高度还原：使用BabylonJS 3D引擎和Ammo物理引擎，接近MMD模型编辑器的原生效果
5. 免费使用：所有功能均可免费访问
6. 本地运算：AI处理在客户端完成，保护用户隐私
7. 简化工作流：无需VMD动画文件或手动调整关键帧，提升效率
8. 跨平台支持：兼容PC、Mac、移动设备等，让用户随时随地使用

MiKaPo的实现方法包括

1. 基于谷歌Mediapipe AI框架：用于3D姿态检测。
   使用BabylonJS 3D引擎：进行3D渲染。
   集成Ammo物理引擎：提供物理仿真。
   技术栈：Tensorflow.js + mediapipe + Babylonjs

MiKaPo的应用场景涵盖

1. 虚拟主播制作：可以用于直播或视频制作中的虚拟角色动作捕捉
2. 动画创作：帮助动画师快速捕捉动作并应用到3D模型上，提高创作效率
3. 游戏角色开发：在游戏中控制角色动作，提升游戏体验
4. 多人协作在线虚拟聊天：未来计划中，将支持多人在线虚拟互动
5. 集成Ollama本地运行大模型：未来计划中，将集成Ollama以支持更复杂的模型动作捕捉