CityDreamer

CityDreamer

免费增值Web
访问官网

CityDreamer是南洋理工大学S-Lab开发的组合生成模型,可从谷歌地球和OpenStreetMap数据生成无限逼真的3D城市。

CityDreamer访问官网

详细介绍

工具简介

CityDreamer是由南洋理工大学S-Lab(S-Lab, Nanyang Technological University)的研究团队开发的一款前沿AI工具,专门用于生成无边界、无限扩展的3D城市。该项目由Haozhe Xie、Zhaoxi Chen、Fangzhou Hong和Ziwei Liu四位研究人员领导,旨在解决3D城市生成领域长期存在的技术难题。CityDreamer的论文已被CVPR 2024(IEEE/CVF Conference on Computer Vision and Pattern Recognition)接收,并于2023年9月首次发布在arXiv预印本平台(编号2309.00610),在学术界和工业界引起了广泛关注,GitHub仓库已获得超过700颗星,项目页面浏览量超过64000次。

与自然场景生成相比,3D城市生成面临更大的挑战。人类对城市环境中的结构扭曲更为敏感,而且建筑物虽然属于同一类别,但其外观多样性远超自然场景中树木等相对一致的对象。为了解决这些难题,CityDreamer采用了一种组合式生成模型(Compositional Generative Model)的架构,将建筑实例的生成与其他背景对象(如道路、绿地、水域等)的生成分离到不同的模块中处理。这种分离策略显著提升了生成3D城市的真实感和视觉质量,超越了当前最先进的方法。


主要功能

无限3D城市生成

CityDreamer的核心能力是生成无边界、可无限扩展的3D城市场景。传统的3D生成方法通常局限于有限区域或固定视角,而CityDreamer通过组合式生成架构,能够持续生成连贯且多样化的城市街区,不受预设边界的限制。这意味着用户可以探索一个理论上无限延伸的虚拟城市,每个区域都保持合理的布局和建筑风格。

建筑与背景分离生成

该工具最具创新性的设计在于将建筑实例生成与背景对象生成(道路、绿地、水域等)分为两个独立的模块。建筑生成模块专注于创建多样化外观的建筑物,而背景生成模块则负责处理地面、植被、水体等环境元素。这种分离策略使得每个模块可以专注于自身任务,避免了相互干扰,从而生成更加逼真、结构更加合理的城市场景。

基于真实数据的学习

CityDreamer从Google Earth(谷歌地球)图像和OpenStreetMap(开放街图)数据中学习城市布局和建筑外观。研究团队专门构建了两个包含大量真实世界城市图像的数据集:OSM数据集和Google Earth数据集。通过这些真实数据,模型能够理解城市建筑的空间分布规律、外观风格多样性以及道路网络结构,从而生成具有高度真实感的3D城市。

多样化建筑外观

与自然场景中树木等对象外观相对一致不同,城市建筑物在高度、形状、立面风格、材质等方面存在巨大差异。CityDreamer能够生成外观多样化的建筑群,包括不同高度、不同风格、不同密度的建筑物,使生成的城市看起来更加自然和丰富。模型通过学习真实城市中建筑的分布规律,能够在生成过程中保持建筑之间的合理关系和视觉多样性。

逼真的城市布局

CityDreamer不仅关注单个建筑的外观,还注重整体城市布局的真实性。模型学习真实城市的道路网络、街区划分、建筑密度分布等空间特征,生成的城市在宏观层面上符合现实世界的城市规划逻辑。道路、绿地、水域等背景元素与建筑实例之间的空间关系被合理建模,使得生成的城市场景在整体上具有高度的可信度。

研究资源开放

项目团队在官网上提供了丰富的学术资源,包括研究论文(arXiv:2309.00610)、海报、演示幻灯片以及源代码(GitHub仓库hzxie/city-dreamer)。此外,团队还公开了OSM和Google Earth两个数据集,供研究人员下载使用。对于想要快速体验的用户,项目还提供了Hugging Face在线演示(Demo),可以直接在浏览器中试用CityDreamer的生成效果。


使用方法

在线体验

对于普通用户和研究者,最便捷的使用方式是通过Hugging Face Spaces上的在线Demo。访问项目官网提供的Demo链接,即可在浏览器中直接体验CityDreamer的3D城市生成能力,无需本地安装任何软件或配置环境。

本地部署与代码使用

对于需要深度使用或二次开发的用户,可以从GitHub仓库克隆源代码进行本地部署。项目提供了完整的代码实现和数据集下载链接(通过官网的gateway链接获取OSM和Google Earth数据集)。研究人员可以参考论文和代码文档,了解模型的训练和推理流程,并根据自身需求进行调整和优化。

学术研究

CityDreamer的论文详细阐述了组合式生成模型的技术原理、网络架构、训练策略和实验结果。对于从事3D生成、城市建模、计算机视觉等方向的研究人员,该项目提供了宝贵的参考文献和可复现的实验设置。论文中对比了多种基线方法,展示了CityDreamer在生成质量和真实感方面的优势。


产品优势

对比维度CityDreamer传统3D城市生成方法
生成范围无边界、可无限扩展通常局限于固定区域
建筑多样性组合式生成,建筑外观丰富多样建筑风格较为单一
背景处理建筑与背景分离建模,各自优化统一建模,容易相互干扰
数据驱动基于Google Earth和OSM真实数据学习依赖手工规则或有限数据
学术认可CVPR 2024收录,GitHub 700+星—

CityDreamer的核心优势在于其组合式生成架构带来的高质量输出。通过将建筑生成与背景生成解耦,模型能够分别优化两个子任务,避免了单一模型在处理复杂城市场景时的能力瓶颈。此外,基于真实地理数据的学习策略使生成结果更加贴近现实世界的城市形态,而非简单的程序化生成。项目在CVPR 2024上的发表也证明了其技术方案的学术价值和创新性。


应用场景

  • 城市规划与设计:规划师可以利用CityDreamer快速生成不同设计方案下的3D城市效果,辅助决策和方案对比,降低传统建模的时间成本。
  • 虚拟现实与游戏开发:游戏开发者和VR内容创作者可以使用CityDreamer生成大规模城市环境,作为游戏场景或虚拟体验的基础素材,大幅提升内容生产效率。
  • 学术研究:从事3D生成、NeRF、AIGC等方向的研究人员可以将CityDreamer作为基线模型或研究起点,推动3D城市生成技术的进一步发展。
  • 影视与数字孪生:影视制作团队和数字孪生项目可以利用该工具快速构建逼真的城市背景,用于预可视化、场景搭建或城市模拟。
  • 教育与演示:教师和科普工作者可以通过CityDreamer的在线Demo直观展示AI生成3D城市的过程,帮助学习者理解生成式AI和3D建模技术。

核心功能

1
无限3D城市生成
CityDreamer能够生成无边界、可无限扩展的3D城市场景,不受固定区域限制。用户可以持续探索连贯且多样化的城市街区,每个区域都保持合理的布局和建筑风格,适用于大规模虚拟环境构建。
2
组合式生成架构
采用建筑实例与背景对象分离生成的创新架构,建筑生成模块专注于多样化建筑外观,背景模块处理道路、绿地、水域等环境元素。两个模块各自优化,避免了相互干扰,显著提升生成场景的真实感。
3
真实地理数据学习
模型从Google Earth图像和OpenStreetMap数据中学习城市布局与建筑特征,研究团队构建了专门的OSM和Google Earth数据集。基于真实数据的学习使生成的城市在空间结构和视觉风格上高度贴近现实世界。
4
多样化建筑外观生成
针对城市建筑外观多样性远超自然对象的挑战,CityDreamer能够生成高度、形状、立面风格各异的建筑群。模型学习真实城市中建筑的分布规律,在生成过程中保持建筑之间的合理关系和视觉丰富度。
5
逼真城市布局建模
不仅关注单体建筑,还注重整体城市布局的真实性。模型学习道路网络、街区划分、建筑密度分布等空间特征,生成的城市在宏观层面符合城市规划逻辑,背景元素与建筑实例的空间关系被合理建模。
6
在线Demo体验
项目在Hugging Face Spaces上提供在线演示,用户无需本地安装或配置环境,直接在浏览器中即可体验3D城市生成效果。降低了使用门槛,方便快速评估工具能力。
7
开源代码与数据集
项目在GitHub上开源了完整源代码(hzxie/city-dreamer),并提供OSM和Google Earth数据集下载。研究人员可以复现论文实验、进行二次开发,或基于该框架开展进一步的3D城市生成研究。
8
学术论文与资源
提供CVPR 2024收录论文、海报、演示幻灯片等完整学术资源。论文详细阐述了技术原理、网络架构和实验结果,为研究社区提供了可引用的参考文献和可复现的实验设置。

优缺点分析

优点
+技术创新性强:组合式生成架构将建筑与背景分离建模,有效解决了3D城市生成中建筑外观多样性和结构真实性的难题,论文被CVPR 2024收录,GitHub获得700+星标认可。
+生成质量高:基于Google Earth和OpenStreetMap真实数据学习,生成的城市在布局逻辑和建筑外观上高度逼真,超越当前最先进方法,且支持无边界无限扩展。
+资源开放程度高:提供开源代码、数据集下载、在线Demo和完整学术论文,研究者和开发者可以自由使用、复现和二次开发,降低了技术门槛。
+应用场景广泛:可服务于城市规划、游戏开发、VR内容创作、影视制作、学术研究等多个领域,具有较高的实用价值和扩展潜力。
缺点
-使用门槛较高:本地部署需要配置深度学习环境、下载数据集和模型权重,对普通用户不够友好;在线Demo功能相对有限,深度使用仍需技术背景。
-非商业化产品:目前主要定位为学术研究项目,缺乏面向普通用户的成熟产品界面和完整工作流,尚未形成稳定的商业化服务。
-生成速度与硬件要求:作为基于NeRF等技术的3D生成模型,推理过程对GPU算力有一定要求,大规模城市生成可能需要较长的计算时间。

适用人群

AI与计算机视觉方向的研究人员,特别是从事3D生成、NeRF、AIGC等课题的学者和研究生城市规划师和建筑设计人员,需要快速生成3D城市方案用于可视化展示和方案对比游戏开发者和VR/AR内容创作者,需要大规模城市环境作为场景素材影视制作与数字孪生从业者,需要逼真城市背景用于预可视化或场景搭建对生成式AI和3D建模感兴趣的技术爱好者,希望通过在线Demo或开源代码学习和体验前沿技术

常见问题

Q: CityDreamer是免费的吗?如何获取和使用?
CityDreamer是一个学术研究项目,源代码在GitHub上开源(hzxie/city-dreamer),用户可以免费获取代码和数据集用于研究和学习。项目官网提供了论文、海报、幻灯片等资源下载链接,同时也在Hugging Face Spaces上提供了在线Demo供快速体验。需要注意的是,本地部署需要一定的深度学习环境配置能力,且模型推理对GPU有一定要求。目前项目没有明确的商业授权说明,商业用途建议联系作者确认许可条款。
Q: CityDreamer与传统的3D城市生成方法有什么区别?
传统方法通常采用程序化生成或单一模型统一处理整个城市场景,容易在建筑多样性和背景协调性之间产生矛盾。CityDreamer的创新在于组合式生成架构:将建筑实例生成与背景对象(道路、绿地、水域)生成分离到不同模块,各自专注于自身任务。同时,模型从Google Earth和OpenStreetMap真实数据中学习城市布局和建筑特征,而非依赖手工规则。这种数据驱动加组合建模的方式使生成的城市在真实感和结构合理性上显著优于传统方法,并且支持无边界无限扩展。
Q: 使用CityDreamer需要什么样的硬件配置?
CityDreamer基于深度学习技术(涉及NeRF等3D表示方法),本地运行通常需要配备NVIDIA GPU的计算机。具体配置要求取决于生成规模和任务类型,建议参考GitHub仓库的文档说明。对于只想体验生成效果的用户,推荐直接使用Hugging Face上的在线Demo,无需本地硬件投入。如果需要进行模型训练或大规模城市生成,则需要较高显存的GPU(如RTX 3090及以上级别)以及充足的存储空间来存放数据集和模型权重。
Q: CityDreamer生成的城市可以导出为哪些格式?能用于游戏引擎吗?
CityDreamer作为研究项目,其输出主要是3D场景的渲染结果和神经辐射场(NeRF)表示。项目代码中可能包含将生成结果导出为网格或点云等常见3D格式的功能,但具体导出能力需参考GitHub仓库的最新文档和示例。对于游戏引擎(如Unity、Unreal Engine)的使用,通常需要将NeRF表示转换为网格模型并进行优化,这一流程可能需要额外的工具和开发工作。建议关注项目更新或联系作者了解最新的导出支持情况。
Q: CityDreamer支持生成特定城市(如北京、纽约)的3D模型吗?
CityDreamer的设计目标是学习城市的一般性布局和建筑特征,从而生成多样化的无限3D城市,而非对某个特定城市进行精确重建。模型从Google Earth和OpenStreetMap数据中学习通用的城市空间规律,生成结果反映的是学习到的城市形态分布,而不是对真实城市的逐栋建筑复刻。因此,它更适合用于生成具有真实感的虚拟城市,而非制作特定城市的数字孪生。如果需要对真实城市进行高精度重建,通常需要结合倾斜摄影、激光扫描等专门的数据采集和建模流程。