Fantasia3D 是什么?
Fantasia3D 是一个高质量的文本到3D内容创建工具。它是由华南理工大学研究团队开发的,并已在 ICCV 2023 上发表。
Fantasia3D是一种自动化文本到三维生成的新方法,基于DMTet的混合表达,采用几何和外观的解耦建模和学习,能够生成精细的表面和丰富的材质/纹理。
对于几何学习,研究人员提出将渲染的法线贴图编码,并将法线的形状编码作为预训练的Stable Diffusion的输入。
对于外观建模,引入了空间变化的BRDF到文本生成三维对任务中,从而实现对学习表面的逼真渲染所需的材质的学习。
除了文本提示外,该方法还可以根据自定义的三维形状来生成,这对用户来说更加灵活,可以更好地控制生成的内容。
另外,该方法还方便支持生成的三维资产的重新照明、编辑和物理仿真。
介绍视频:
如何使用?
- 项目地址:https://fantasia3d.github.io/
- 论文地址:https://fantasia3d.github.io/assets/Fantasia3D.pdf
- GitHub:https://github.com/Gorilla-Lab-SCUT/Fantasia3D