Animatable Gaussians 是一种全新的高保真人形化身建模技术,它通过利用强大的2D CNN和3D高斯投影技术,克服了传统MLP基础神经辐射场(NeRF)在复杂服饰细节上的限制。
关键技术点介绍:
- 3D高斯与动画化身的结合:通过从输入视频中学习参数化模板,并将模板参数化到前后两个规范高斯图上,每个像素代表一个3D高斯,从而实现与穿戴服饰的适应性。
- 采用StyleGAN基础的CNN学习姿态依赖的高斯图:这一步骤利用强大的StyleGAN基础的CNN,为每个姿态生成详细的动态外观。
- 引入姿态投影策略:为了在给定新姿态时获得更好的泛化能力,我们引入了姿态投影策略,增强模型的应用范围和效果。
实验与应用:
在动态服饰细节的捕捉和整体动画效果的真实性上均显著优于现有的先进技术。
通过与AMASS数据集中的挑战性动作进行动画化展示,进一步验证了Animatable Gaussians技术的高保真和高适应性。
安装与数据准备:
- 克隆仓库并安装所需环境。
- 下载并处理AvatarReX, ActorsHQ 或 THuman4.0 数据集。
- 进行化身训练和动画演示。
应用前景:
Animatable Gaussians 开辟了人形化身高保真建模的新方向,适用于电影、游戏、虚拟现实等多种场景,尤其适合需要高级服饰细节和复杂动作表现的应用。
×
直达下载
温馨提示: