详细介绍
工具简介
Fantasia3D 是一款由华南理工大学研究团队开发的高质量文本到3D内容创建工具,相关研究成果已被国际计算机视觉大会 ICCV 2023 收录。该工具旨在解决现有文本到3D生成方法在几何精细度和渲染真实感方面的不足,提出了一种全新的解耦式建模与学习框架,将三维物体的几何形状与外观材质分开进行建模和优化,从而生成具有精细表面和丰富材质纹理的高质量3D资产。
传统的文本到3D方法通常采用隐式场景表示(如NeRF),通过体积渲染将几何与外观耦合在一起进行学习。这种耦合方式虽然能够实现一定程度的生成效果,但在恢复更精细的几何结构以及实现照片级真实感渲染方面存在明显局限,导致生成的3D资产质量不够理想。Fantasia3D 的核心创新在于解耦几何与外观的建模和学习,使得每个部分都可以针对其特性进行专门优化,从而显著提升最终生成质量。
具体而言,在几何学习阶段,Fantasia3D 采用基于 DMTet 的混合场景表示,并创新性地提出将渲染得到的法线贴图编码后作为预训练 Stable Diffusion 模型的输入条件,利用扩散模型强大的先验知识来指导几何形状的优化。在 appearance(外观)建模阶段,研究团队将空间变化的双向反射分布函数(BRDF)引入文本到3D生成任务中,学习生成表面所需的材质参数,从而实现对学习表面的逼真渲染。这种解耦框架与主流图形引擎更加兼容,支持生成3D资产的重新照明、编辑和物理仿真等下游应用。
除了纯文本驱动的零样本生成外,Fantasia3D 还支持用户引导生成模式,即用户可以提供一个自定义的3D模型作为初始化,在此基础上结合文本提示进行生成,从而更好地控制生成内容,满足更灵活的设计需求。该工具适用于3D内容创作、游戏资产制作、影视特效预览、产品设计可视化等多个领域。
主要功能
文本驱动零样本3D生成
Fantasia3D 能够仅凭一段文本提示词,从零开始生成高质量的3D资产。无论是食物、雕塑、生活用品还是复杂角色,模型都能根据文本描述生成对应的几何形状和材质外观。官网展示了包括美味牛角包、金属狮子头雕塑、热巧克力棉花糖、冰淇淋圣代、精细沙堡、肉桂卷、奶酪汽车、复古唱片机、英国帝国皇冠、石雕半身像等多种示例,覆盖了不同材质和几何复杂度的对象,展示了其广泛的生成能力。
几何与外观解耦建模
该工具的核心技术在于将3D资产的几何形状与外观材质进行分离建模。几何学习采用DMTet混合表示,通过渲染法线贴图并编码为Stable Diffusion的输入来优化形状;外观建模则引入空间变化的BRDF,学习表面材质以实现逼真渲染。这种解耦方式使得几何和外观可以各自独立优化,避免了耦合建模中相互制约的问题,从而获得更精细的表面细节和更真实的材质表现。
用户引导的3D生成
除了零样本生成,Fantasia3D 还支持以用户提供的自定义3D模型作为初始化,结合文本提示进行引导式生成。例如,用户可以提供一个钢铁侠的3D模型,通过文本提示将其转换为米开朗基罗风格的狗狗雕像,或者将高达模型进行风格化改造。这一功能为用户提供了更大的创作灵活性和控制力,适合需要基于现有模型进行二次创作或风格迁移的场景。
支持重新照明与编辑
由于采用了与图形引擎兼容的解耦表示,Fantasia3D 生成的3D资产可以方便地进行重新照明操作,用户可以在不同光照条件下预览资产效果。同时,生成的资产还支持编辑和物理仿真,为后续的动画、游戏引擎导入、虚拟现实等应用提供了便利。这意味着生成的3D内容不仅仅是静态展示,而是可以真正用于生产流程的可用资产。
高质量材质与纹理生成
通过引入空间变化的BRDF,Fantasia3D 能够学习并生成具有丰富细节的材质纹理,包括金属、陶瓷、食物、石材等不同材质的视觉特性。生成的表面不仅几何精细,在光照下的反射、粗糙度等物理属性也更为真实,显著提升了渲染结果的照片级真实感。
使用方法
Fantasia3D 目前主要以研究项目的形式开放,用户可以通过以下途径获取和使用:
- 访问项目官网:前往 https://fantasia3d.github.io 查看项目介绍、演示视频和生成效果展示。
- 阅读论文:在官网可下载论文《Fantasia3D: Disentangling Geometry and Appearance for High-quality Text-to-3D Content Creation》,了解技术细节和实验结果。
- 获取代码:通过 GitHub 仓库 https://github.com/Gorilla-Lab-SCUT/Fantasia3D 获取开源代码,按照文档配置环境并运行。
- 输入文本提示:在代码环境中输入描述目标3D物体的文本提示,或提供自定义3D模型作为初始化。
- 生成与导出:运行优化流程后,导出生成的3D几何与材质资产,用于后续渲染或引擎导入。
需要注意的是,该工具目前更偏向研究性质,使用需要一定的技术背景和GPU计算资源。
产品优势
| 对比维度 | Fantasia3D | 传统耦合式文本到3D方法 |
|---|---|---|
| 建模方式 | 几何与外观解耦建模 | 隐式表示耦合建模 |
| 几何精细度 | 更高,法线贴图引导扩散模型优化 | 受体积渲染限制,细节不足 |
| 材质真实感 | 引入空间变化BRDF,照片级渲染 | 外观与几何耦合,材质表现受限 |
| 下游兼容性 | 支持重照明、编辑、物理仿真 | 兼容性较差 |
| 用户控制 | 支持自定义3D模型引导生成 | 通常仅支持文本输入 |
此外,Fantasia3D 在 ICCV 2023 上发表,经过同行评审,其技术方案在不同文本到3D任务设置下均展现出优于现有方法的性能,具有较高的学术认可度和技术可靠性。
应用场景
- 3D内容创作:设计师和艺术家可快速将文字创意转化为3D模型,用于概念设计和原型制作。
- 游戏资产制作:生成游戏中的道具、角色、场景元素等3D资产,并支持导入游戏引擎进行后续处理。
- 影视与动画预览:快速生成场景和物体的3D预览,辅助分镜设计和视觉预览。
- 产品设计与可视化:将产品描述转化为3D模型,用于电商展示或工业设计评审。
- 学术研究:作为文本到3D生成领域的前沿方法,供研究人员复现和进一步改进。


