由影眸科技、Adobe、上海科技大学、香港大学推出的GauFace是一种新颖的高斯泼溅表示，专为高效动画和基于物理的面部资产的渲 而定制。利用强大的几何先验和约束优化， GauFace确保整洁且结构化的高斯表示，在 Snapdragon 8 Gen 2 移动平台上提供30fps@1440p的高保真度和实时面部交互。
所以，我们引入了TransGS ，这是一种扩散转换器，可以立即将基于物理的面部资产转换为相应的GauFace表示。
经过训练后， TransGS可以立即将具有照明条件的面部资产转换为GauFace表示。凭借丰富的调节模式，它还支持编辑和动画功能，让人想起传统的 CG 管道。
(TransGS 5秒内将 PBR 面部数据转换为高质量3D资产模型项目资料链接在下方👇)
AI论文与新生技术专题：
https://heehel.com/collection/topic-aipapers-jiaocheng
TransGS实现方法
GauFace表示和数据集
左：我们在 134 种照明条件下收集了 143 个面部资产，总共 1,023 种组合。中：对于每种组合，我们使用随机相机位置在 153 种不同的表情下渲染 1,071 帧。右图：我们的GauFace资源定义了 UV 贴图上高斯中心，在不同身份下保持一致，并引入动态阴影矢量来解开依赖于变形和与变形无关的着色效果。
跨GS结构
我们在图像纹理I 、几何代码G和 HDRI 图L上设置TransGS条件，以基于补丁的方式生成GauFace资产A。左：在训练期间，对随机全局偏移q进行采样，并将相应的图像补丁I_q和GauFace补丁A_q馈送到扩散变换器。右：推理时，完整的GauFace资产可以在一次传递中合成。
应用领域
移动设备上的实时渲染
由于GauFace的高效表示，我们可以使用 Unity3D GauFace渲染器在移动设备上实时渲染面部资产。
互动编辑
得益于TransGS的丰富条件，纹理编辑可以以交互速度无缝转移到GauFace表示。
TransGS技术用途：
- 实时渲染：TransGS技术使得高质量的面部渲染可以在实时环境中进行，如视频游戏、虚拟现实（VR）和增强现实（AR）应用。
- 交互性：通过实时渲染，用户可以与虚拟角色进行更自然的交互，因为面部表情和光照变化可以即时反映。
- 性能提升：相比于传统的CG渲染流程，TransGS技术可以显著减少渲染时间和资源消耗。
TransGS实现方式：
- GaoFace表示：研究中提出了一种新的面部表示方法，称为“GaoFace”，它通过UV坐标定义高斯点，并能够随着面部网格的变形或移动而相应调整。
- 阴影贴图：利用阴影贴图来模拟面部表情引起的自阴影变化，以增强视觉质量。
- 像素对齐采样：在高斯优化过程中采用像素对齐采样，提高运行时性能。
- TransGS扩散转换器：TransGS模型能够对传统面部资产与GaoFace之间的一对多映射进行建模，支持多种输入源，如文本、图像、扫描资产或手工创建的资产。
- 数据优化：通过DreamFace方法生成的大量数据点被优化到GaoFace中，每个数据点包含多个不同的表情和角度图像。
TransGS应用场景：
- 视频游戏：在游戏中，角色的面部表情可以实时响应玩家的操作或游戏情境。
- 虚拟现实（VR）：在VR环境中，用户可以与具有真实面部表情的虚拟角色进行交互。
- 增强现实（AR）：在AR应用中，虚拟角色或对象可以与现实世界中的用户进行更自然的互动。
- 电影和动画制作：在后期制作中，可以快速预览角色的面部动画效果。
- 移动设备：由于TransGS和GaoFace的高效性，它们可以在移动设备上实现实时交互，无需高端硬件支持。
