Stable Video 3D是什么?
Stable Video 3D是一个由Stability AI 推出的3D技术模型,能够从单张图片生成高质量的多视角3D内容和视频。Stable Video 3D包含两个变体,SV3D_u和SV3D_p,分别用于生成轨道视频和沿指定相机路径的3D视频。
Stable Video 3D 的优势在于其能够通过视频扩散模型生成对象的多视角视频,相比 Stable Zero123 使用的图像扩散模型,提供了更好的泛化能力和生成输出的视图一致性。
Stable Video 3D的主要特性
Stable Video 3D的主要特性包括:
- 多视角生成:能够从单张图片生成对象的多视角视频,提供更加丰富的3D视图体验。
- 两种变体:
- SV3D_u:生成基于单张图片输入的轨道视频,无需相机条件设置。
- SV3D_p:支持单张图片和轨道视图,允许创建沿指定相机路径的3D视频。
- 改进的3D优化:利用视频扩散模型的能力,提出了改进的3D优化技术,能够生成围绕对象的任意轨道。
- 解耦的照明优化:通过分离照明优化,提高3D模型的真实感。
- 新的掩蔽分数蒸馏采样损失函数:这一技术使得Stable Video 3D能够从单张图片输入可靠地输出高质量的3D网格。
- 新视角合成(NVS):在3D生成方面,Stable Video 3D引入了显著的NVS进步,能够从任何角度提供一致的视图,增强了姿态控制性和对象在多个视图中的一致性。
这些特性共同使得Stable Video 3D成为一个强大的工具,用于创造高质量的3D内容和视频,适用于多种应用场景。
如何使用Stable Video 3D?
Stable Video 3D 目前可以用于商业目的,需要通过 Stability AI Membership 访问。非商业用途的用户可以在 Hugging Face 上下载模型权重,并查看相关的研究论文。