CoDi

CoDi

免费Web
访问官网

CoDi是微软与UNC联合研发的可组合扩散模型,支持文本、图像、视频、音频任意组合输入并同步生成多种模态输出。

CoDi访问官网

详细介绍

工具简介

CoDi(全称Composable Diffusion,可组合扩散)是一款由北卡罗来纳大学教堂山分校(UNC)与微软Azure认知服务研究团队联合研发的多模态生成式AI模型,相关成果发表于NeurIPS 2023。该模型的核心突破在于:它能够从任意组合的输入模态(如语言、图像、视频或音频)生成任意组合的输出模态,真正实现了“任意到任意”(Any-to-Any)的跨模态生成能力。CoDi的官网为codi-gen.github.io,研究论文发布于arXiv(编号2305.11846),代码已在GitHub的microsoft/i-Code仓库中开源。

与现有的生成式AI系统不同,CoDi不仅可以并行生成多种模态,其输入也不再局限于文本或图像等单一子集。例如,用户可以同时输入文本、图像和音频,让模型生成一段带声音的视频;也可以仅输入一段文字,直接产出视频与音频同步对齐的完整内容。尽管许多模态组合的训练数据集在现实中并不存在,研究团队通过在输入和输出空间中对模态进行对齐,使CoDi能够自由地以任何输入组合为条件进行生成,即使这些组合从未在训练数据中出现过。

技术原理与架构

CoDi采用了一种新颖的可组合生成策略,其核心思想是在扩散过程中建立对齐关系,从而构建一个共享的多模态空间。这一设计使得交织模态(如时间上对齐的视频和音频)能够同步生成,而不是简单拼接。模型架构上,CoDi使用了多阶段训练方案,使其只需对线性数量的任务进行训练,却能在推理阶段覆盖所有输入和输出模态的组合,极大提升了训练效率与泛化能力。

具体而言,CoDi的扩散模型以模态对齐为基础,将不同模态的生成过程桥接在同一个潜在空间中。这种共享空间不仅让模型理解跨模态语义,还保证了输出内容在时间或语义上的一致性。例如在生成视频时,音频轨道会与画面动作自然匹配,而非独立生成后强行对齐。

生成模式与使用示例

CoDi支持多种灵活的生成模式,官方演示中展示了以下几类典型用法:

  • 多输出联合生成:模型接受单个或多个提示(包括视频、图像、文本或音频),生成多个对齐的输出,如伴有声音的视频。例如输入“滑板上的泰迪熊,4k,高分辨率”的文本,同时给出参考图像和音频,模型可输出带音效的视频。
  • 多条件生成:模型接受多个输入(包括视频、图像、文本或音频)生成输出,例如结合音频与图像生成对应的文本描述和图像。
  • 单对单生成:模型接受单个提示(包括视频、图像、文本或音频)生成单个输出。例如仅输入“天空中的烟花”文本,即可生成视频与音频同步的内容。

官网演示中还给出了“珊瑚礁潜水”“火车进站”“森林中弹钢琴”“赛博朋克城市电影场景”等示例,覆盖文本到视频加音频、文本加图像到文本加图像等多种组合,充分体现了模型在跨模态创作上的自由度。

性能表现与定位

CoDi高度可定制且灵活,在联合模态生成质量上表现强劲,官方称其与单模态合成的最新技术相当或更优。这意味着用户在使用CoDi进行多模态联合生成时,不必在质量上做出妥协。作为一项研究导向的模型,CoDi目前主要通过论文、代码仓库和在线演示页面向研究者和开发者开放,尚未提供成熟的商业化产品界面,价格模式也尚未明确。

使用方法

目前体验CoDi的主要途径包括:访问官网codi-gen.github.io查看演示视频与生成示例;阅读arXiv上的研究论文了解技术细节;通过GitHub仓库(microsoft/i-Code/tree/main/i-Code-V3)获取代码进行本地部署或二次开发。对于希望深入研究多模态生成的研究人员,CoDi提供了完整的模型架构与训练思路参考。


主要功能

  • 任意模态输入:支持文本、图像、视频、音频的任意组合作为条件输入。
  • 任意模态输出:可生成文本、图像、视频、音频的任意组合,支持并行多模态输出。
  • 同步交织生成:视频与音频等时间相关模态可同步对齐生成。
  • 零样本组合泛化:即使训练数据中不存在的模态组合也能推理生成。
  • 多阶段训练架构:线性任务训练覆盖全部输入输出组合。

核心功能

1
任意到任意跨模态生成
CoDi支持从文本、图像、视频、音频的任意组合输入,生成任意组合的输出模态,打破传统模型输入输出受限的局限,实现真正的跨模态自由创作。
2
多模态并行联合输出
模型可一次性生成多个对齐的输出,例如同时产出带同步音效的视频,避免多次调用不同模型再拼接的繁琐流程,提升创作效率与一致性。
3
共享多模态空间对齐
通过在扩散过程中建立模态对齐,构建共享的多模态潜在空间,使不同模态在语义和时间上保持一致,尤其适合视频与音频的同步生成。
4
零样本模态组合泛化
即使某种输入输出组合从未出现在训练数据中,CoDi仍能通过输入输出空间的对齐进行推理生成,展现出强大的组合泛化能力。
5
多阶段高效训练方案
采用多阶段训练策略,仅需对线性数量的任务进行训练,即可在推理时覆盖所有输入和输出模态组合,显著降低训练成本。
6
多条件灵活控制
用户可同时提供多个模态作为条件,例如文本加图像加音频,模型综合多路信息生成符合预期的输出,满足复杂创作需求。
7
开源代码与研究论文
模型代码已在GitHub开源,论文发布于arXiv,研究者和开发者可复现、修改和扩展,推动多模态生成技术的进一步研究。

优缺点分析

优点
+真正实现任意模态到任意模态的生成,输入输出组合自由度远超单一模态模型
+支持视频与音频等交织模态的同步生成,保证多模态输出在时间上的对齐一致性
+具备零样本组合泛化能力,训练数据中不存在的模态组合也能推理生成
+开源代码与论文公开,便于学术研究和二次开发,技术透明度高
缺点
-目前以研究项目形式呈现,缺乏成熟的商业化产品界面,普通用户上手门槛较高
-价格模式尚未明确,且官网主要提供演示与论文,未提供直接的在线生成服务
-本地部署需要一定的技术背景和算力资源,对非开发者不够友好

适用人群

多模态生成方向的研究人员与学者从事AI内容创作的开发者与工程师需要跨模态素材生成的设计师与视频创作者对扩散模型和跨模态对齐技术感兴趣的技术爱好者

常见问题

Q: CoDi是什么?和常见的AI绘画工具有什么区别?
CoDi是微软与UNC联合研发的可组合扩散模型,最大特点是支持任意模态组合的输入与输出,例如文本加图像加音频输入可生成带声音的视频。常见AI绘画工具通常只支持文本到图像的单一方向,而CoDi能并行生成多种模态并对齐时间关系,属于更通用的多模态生成模型,定位偏向研究而非成熟消费级产品。
Q: 普通用户现在可以如何使用CoDi?
目前CoDi主要通过官网codi-gen.github.io的演示页面展示生成效果,用户可观看视频和示例。研究者和开发者可通过arXiv论文了解技术细节,并从GitHub仓库microsoft/i-Code获取代码进行本地部署或二次开发。官方尚未推出面向普通用户的在线生成产品,因此直接上手使用需要一定的技术基础。
Q: CoDi支持哪些输入和输出模态组合?
CoDi支持文本、图像、视频、音频四种模态的任意组合输入,并可生成这四种模态的任意组合输出。典型用法包括文本到视频加音频、文本加图像加音频到视频加音频、音频加图像到文本加图像等。模型通过共享多模态空间对齐,使视频与音频等交织模态能够同步生成,即使某些组合在训练数据中不存在也能推理。
Q: CoDi是免费的吗?
CoDi目前是学术研究项目,代码在GitHub开源,论文公开可查,官网提供演示内容。官方未公布明确的定价或商业化方案,价格模式尚不明确。对于研究者,可免费获取代码和论文进行研究;若未来推出商业服务,定价策略可能会另行公布。建议关注官网和GitHub仓库获取最新动态。
Q: CoDi的技术原理是什么?为什么能实现零样本组合?
CoDi采用可组合扩散策略,在扩散过程中建立模态间的对齐关系,构建共享的多模态空间。模型使用多阶段训练方案,只需训练线性数量的任务,却能推理所有输入输出组合。由于输入和输出空间都进行了模态对齐,即使某种组合未出现在训练数据中,模型也能通过共享空间中的语义关联进行生成,从而实现零样本组合泛化。