详细介绍
工具简介
CityDreamer是由南洋理工大学S-Lab(S-Lab, Nanyang Technological University)的研究团队开发的一款前沿AI工具,专门用于生成无边界、无限扩展的3D城市。该项目由Haozhe Xie、Zhaoxi Chen、Fangzhou Hong和Ziwei Liu四位研究人员领导,旨在解决3D城市生成领域长期存在的技术难题。CityDreamer的论文已被CVPR 2024(IEEE/CVF Conference on Computer Vision and Pattern Recognition)接收,并于2023年9月首次发布在arXiv预印本平台(编号2309.00610),在学术界和工业界引起了广泛关注,GitHub仓库已获得超过700颗星,项目页面浏览量超过64000次。
与自然场景生成相比,3D城市生成面临更大的挑战。人类对城市环境中的结构扭曲更为敏感,而且建筑物虽然属于同一类别,但其外观多样性远超自然场景中树木等相对一致的对象。为了解决这些难题,CityDreamer采用了一种组合式生成模型(Compositional Generative Model)的架构,将建筑实例的生成与其他背景对象(如道路、绿地、水域等)的生成分离到不同的模块中处理。这种分离策略显著提升了生成3D城市的真实感和视觉质量,超越了当前最先进的方法。
主要功能
无限3D城市生成
CityDreamer的核心能力是生成无边界、可无限扩展的3D城市场景。传统的3D生成方法通常局限于有限区域或固定视角,而CityDreamer通过组合式生成架构,能够持续生成连贯且多样化的城市街区,不受预设边界的限制。这意味着用户可以探索一个理论上无限延伸的虚拟城市,每个区域都保持合理的布局和建筑风格。
建筑与背景分离生成
该工具最具创新性的设计在于将建筑实例生成与背景对象生成(道路、绿地、水域等)分为两个独立的模块。建筑生成模块专注于创建多样化外观的建筑物,而背景生成模块则负责处理地面、植被、水体等环境元素。这种分离策略使得每个模块可以专注于自身任务,避免了相互干扰,从而生成更加逼真、结构更加合理的城市场景。
基于真实数据的学习
CityDreamer从Google Earth(谷歌地球)图像和OpenStreetMap(开放街图)数据中学习城市布局和建筑外观。研究团队专门构建了两个包含大量真实世界城市图像的数据集:OSM数据集和Google Earth数据集。通过这些真实数据,模型能够理解城市建筑的空间分布规律、外观风格多样性以及道路网络结构,从而生成具有高度真实感的3D城市。
多样化建筑外观
与自然场景中树木等对象外观相对一致不同,城市建筑物在高度、形状、立面风格、材质等方面存在巨大差异。CityDreamer能够生成外观多样化的建筑群,包括不同高度、不同风格、不同密度的建筑物,使生成的城市看起来更加自然和丰富。模型通过学习真实城市中建筑的分布规律,能够在生成过程中保持建筑之间的合理关系和视觉多样性。
逼真的城市布局
CityDreamer不仅关注单个建筑的外观,还注重整体城市布局的真实性。模型学习真实城市的道路网络、街区划分、建筑密度分布等空间特征,生成的城市在宏观层面上符合现实世界的城市规划逻辑。道路、绿地、水域等背景元素与建筑实例之间的空间关系被合理建模,使得生成的城市场景在整体上具有高度的可信度。
研究资源开放
项目团队在官网上提供了丰富的学术资源,包括研究论文(arXiv:2309.00610)、海报、演示幻灯片以及源代码(GitHub仓库hzxie/city-dreamer)。此外,团队还公开了OSM和Google Earth两个数据集,供研究人员下载使用。对于想要快速体验的用户,项目还提供了Hugging Face在线演示(Demo),可以直接在浏览器中试用CityDreamer的生成效果。
使用方法
在线体验
对于普通用户和研究者,最便捷的使用方式是通过Hugging Face Spaces上的在线Demo。访问项目官网提供的Demo链接,即可在浏览器中直接体验CityDreamer的3D城市生成能力,无需本地安装任何软件或配置环境。
本地部署与代码使用
对于需要深度使用或二次开发的用户,可以从GitHub仓库克隆源代码进行本地部署。项目提供了完整的代码实现和数据集下载链接(通过官网的gateway链接获取OSM和Google Earth数据集)。研究人员可以参考论文和代码文档,了解模型的训练和推理流程,并根据自身需求进行调整和优化。
学术研究
CityDreamer的论文详细阐述了组合式生成模型的技术原理、网络架构、训练策略和实验结果。对于从事3D生成、城市建模、计算机视觉等方向的研究人员,该项目提供了宝贵的参考文献和可复现的实验设置。论文中对比了多种基线方法,展示了CityDreamer在生成质量和真实感方面的优势。
产品优势
| 对比维度 | CityDreamer | 传统3D城市生成方法 |
|---|---|---|
| 生成范围 | 无边界、可无限扩展 | 通常局限于固定区域 |
| 建筑多样性 | 组合式生成,建筑外观丰富多样 | 建筑风格较为单一 |
| 背景处理 | 建筑与背景分离建模,各自优化 | 统一建模,容易相互干扰 |
| 数据驱动 | 基于Google Earth和OSM真实数据学习 | 依赖手工规则或有限数据 |
| 学术认可 | CVPR 2024收录,GitHub 700+星 | — |
CityDreamer的核心优势在于其组合式生成架构带来的高质量输出。通过将建筑生成与背景生成解耦,模型能够分别优化两个子任务,避免了单一模型在处理复杂城市场景时的能力瓶颈。此外,基于真实地理数据的学习策略使生成结果更加贴近现实世界的城市形态,而非简单的程序化生成。项目在CVPR 2024上的发表也证明了其技术方案的学术价值和创新性。
应用场景
- 城市规划与设计:规划师可以利用CityDreamer快速生成不同设计方案下的3D城市效果,辅助决策和方案对比,降低传统建模的时间成本。
- 虚拟现实与游戏开发:游戏开发者和VR内容创作者可以使用CityDreamer生成大规模城市环境,作为游戏场景或虚拟体验的基础素材,大幅提升内容生产效率。
- 学术研究:从事3D生成、NeRF、AIGC等方向的研究人员可以将CityDreamer作为基线模型或研究起点,推动3D城市生成技术的进一步发展。
- 影视与数字孪生:影视制作团队和数字孪生项目可以利用该工具快速构建逼真的城市背景,用于预可视化、场景搭建或城市模拟。
- 教育与演示:教师和科普工作者可以通过CityDreamer的在线Demo直观展示AI生成3D城市的过程,帮助学习者理解生成式AI和3D建模技术。


