MiKaPo 是一款创新的基于Web的动作捕捉工具,专为二次元爱好者和动画制作者设计。它于2024年9月30日正式发布,凭借其无需任何外部设备即可捕捉视频中人物动作并实时应用到3D模型上的特性,迅速吸引了广泛的关注。
(免费开源实时捕捉视频中人物动作捕捉AI工具MiKaPo详情👇)
这款工具的核心优势在于它的易用性和实时性。用户只需在浏览器中打开MiKaPo,即可开始使用。无论是上传视频还是使用摄像头输入,MiKaPo都能快速捕捉到人物的动作,并将这些动作同步到MMD(MikuMikuDance)模型上。这不仅包括全身动作,还涵盖面部表情,为用户提供了全方位的动作捕捉体验。
MiKaPo的开源特性意味着它是完全免费的,用户无需安装任何程序或购买设备即可使用。它基于前沿的技术栈构建,包括BabylonJS用于3D渲染,babylon-mmd用于支持MMD模型,以及Mediapipe用于3D姿态检测。这些技术的结合,使得MiKaPo能够提供流畅且准确的动作捕捉效果。
此外,MiKaPo的开发团队正在计划推出一个更高级的Electron桌面版本,这将包括更多功能,如用户模型选择、动画导出,以及与Ollama的集成,后者是一个智能纸片人桌宠。这些新功能的加入,将进一步增强MiKaPo的实用性和趣味性。
MiKaPo的开发过程中面临的主要挑战是如何有效地利用Mediapipe检测到的3D关键点来控制MMD模型,以及如何优化实时更新的性能。开发团队通过不断的技术创新和优化,成功克服了这些挑战,为用户提供了一个既强大又易于使用的工具。
MiKaPo的功能特点
- 浏览器内运行:无需安装额外软件,直接在浏览器中使用
- 实时AI捕捉:使用谷歌Mediapipe AI框架,快速识别与跟踪动作
- 多种输入方式:支持摄像头实时捕捉和视频文件上传
- 高度还原:使用BabylonJS 3D引擎和Ammo物理引擎,接近MMD模型编辑器的原生效果
- 免费使用:所有功能均可免费访问
- 本地运算:AI处理在客户端完成,保护用户隐私
- 简化工作流:无需VMD动画文件或手动调整关键帧,提升效率
- 跨平台支持:兼容PC、Mac、移动设备等,让用户随时随地使用
MiKaPo的实现方法包括
- 基于谷歌Mediapipe AI框架:用于3D姿态检测。
使用BabylonJS 3D引擎:进行3D渲染。
集成Ammo物理引擎:提供物理仿真。
技术栈:Tensorflow.js + mediapipe + Babylonjs
MiKaPo的应用场景涵盖
- 虚拟主播制作:可以用于直播或视频制作中的虚拟角色动作捕捉
- 动画创作:帮助动画师快速捕捉动作并应用到3D模型上,提高创作效率
- 游戏角色开发:在游戏中控制角色动作,提升游戏体验
- 多人协作在线虚拟聊天:未来计划中,将支持多人在线虚拟互动
- 集成Ollama本地运行大模型:未来计划中,将集成Ollama以支持更复杂的模型动作捕捉