NExT

NExT

免费增值Web
访问官网

NExT-GPT是新加坡国立大学开源的任意模态输入输出多模态大模型,支持文本、图像、视频、音频自由转换。

NExT访问官网

详细介绍

工具简介

NExT-GPT是由新加坡国立大学NExT++研究中心的华人团队(Shengqiong Wu、Hao Fei、Leigang Qu、Wei Ji、Tat-Seng Chua)研发的一款端到端通用任意模态到任意模态(Any-to-Any)多模态大语言模型。该项目在ICML 2024上被接收为Oral论文,是首个实现从任一模态输入到任一模态输出的开源多模态系统,标志着向通用人工智能目标迈出的重要一步。

传统多模态大模型大多局限于输入侧的多模态理解,即只能接受文本、图像等输入,但输出往往仅限于文本。NExT-GPT打破了这一限制,它能够接受文本、图像、视频、音频中任意组合的输入,并生成文本、图像、视频、音频中任意组合的输出。例如,用户可以输入一段文字描述,要求生成一张图片和一段语音;也可以输入一张图片,要求生成一段视频和文字说明。这种自由组合的能力充分模拟了人类通过多种感官感知世界并进行表达的方式。

从技术架构上看,NExT-GPT并没有从零创新算法,而是“站在巨人的肩膀上”,通过组合优化现有各类开源模块实现全能目标。模型包含三个层次:第一层使用多模态编码器(如ImageBind)对输入进行编码;第二层使用大语言模型(Vicuna)进行复杂推理;第三层使用扩散解码器生成各种模态输出。特别值得一提的是,NExT-GPT仅需微调约1%的参数(特定投影层),即可实现模态特征表达的端到端对齐训练,大大降低了训练成本,也便于未来扩展更多模态。

此外,研究团队还提出了模态切换指令微调(MosIT)方法,并手工构建了高质量的MosIT数据集,使模型具备复杂的跨模态语义理解和内容生成能力。NExT-GPT的出现为构建通用多模态AI智能体提供了宝贵的借鉴,后续工作可考虑扩展更多模态、使用更大规模语言模型基座以及改进多模态生成策略等。


主要功能

任意模态输入理解

NExT-GPT支持文本、图像、视频、音频等多种模态的任意组合输入。通过ImageBind等统一高性能编码器,将不同模态的输入映射到语言模型可理解的特征空间,实现跨模态的语义理解。用户可以用文字描述需求,也可以上传图片或视频让模型分析,甚至同时提供多种模态信息。

任意模态输出生成

模型能够根据用户请求,生成文本、图像、视频、音频中任意组合的输出。例如,输入一段文字,模型可以同时生成配图和配音;输入一张图片,模型可以生成描述文字和一段相关视频。这种任意到任意的输出能力是NExT-GPT的核心突破。

跨模态语义推理

以大语言模型Vicuna为核心推理引擎,NExT-GPT能够对多模态输入进行深层次的语义理解和逻辑推理,并输出文本响应以及各模态的信号令牌,指导解码器生成相应内容。模型具备复杂的跨模态语义理解能力,能够处理需要综合多种信息才能回答的问题。

模态切换指令微调(MosIT)

研究团队提出的MosIT方法以及手工构建的高质量数据集,使模型能够根据指令灵活切换输入输出模态。通过指令微调,NExT-GPT学会了在复杂场景下理解用户意图,并选择恰当的模态组合进行响应,提升了交互的自然性和准确性。

低成本高效训练

NExT-GPT仅需微调约1%的参数(特定投影层),即可实现端到端的多模态对齐训练。这得益于对现有预训练编码器和解码器的充分利用,不仅降低了训练成本,也为后续扩展更多模态提供了便利。

开源可扩展架构

项目代码、数据集和论文均已开源,研究者和开发者可以基于NExT-GPT进行二次开发,扩展新的模态或改进生成策略。模块化的设计使得替换更强的语言模型基座或更优的解码器变得容易。


使用方法

NExT-GPT目前主要面向研究者和开发者,可通过以下步骤使用:

  1. 访问项目官网:前往 https://next-gpt.github.io 了解项目详情,获取论文、代码和演示视频。
  2. 获取代码与模型:从GitHub仓库(https://github.com/NExT-GPT/NExT-GPT)克隆代码,并按照说明下载预训练模型权重和数据集。
  3. 环境配置:根据项目文档安装依赖环境,包括PyTorch、ImageBind、Vicuna等相关库。
  4. 运行演示:使用提供的演示脚本,输入文本、图像等模态,体验任意到任意的生成效果。
  5. 自定义微调:研究者可使用MosIT数据集对模型进行指令微调,或扩展新的模态适配器。


产品优势

对比维度NExT-GPT传统多模态模型
输入模态文本、图像、视频、音频任意组合通常仅文本或文本+图像
输出模态文本、图像、视频、音频任意组合通常仅文本
训练成本仅微调1%参数需大量参数调整
扩展性模块化设计,易于扩展新模态扩展困难

NExT-GPT的核心优势在于其真正的任意到任意多模态能力,而非固定模式的输入输出。它通过组合现有高性能模块,以极低的训练成本实现了通用多模态理解与生成,为多模态AI研究提供了新的范式。


应用场景

  • 内容创作:根据文字脚本自动生成配图、视频和配音,提升创作效率。
  • 智能助手:理解用户的多模态指令,并以多种模态回应,如语音+文字+图片。
  • 教育培训:将文本教材转换为图文并茂的视频课程,或根据图片生成讲解语音。
  • 无障碍服务:为视障用户将图像转换为语音描述,为听障用户将语音转换为文字和图像。
  • 学术研究:作为多模态大模型的研究基线,推动任意模态AI的发展。

核心功能

1
任意模态输入理解
支持文本、图像、视频、音频的任意组合输入,通过ImageBind等编码器将不同模态映射到统一特征空间,使语言模型能够理解跨模态信息,为后续推理和生成奠定基础。
2
任意模态输出生成
根据用户请求生成文本、图像、视频、音频的任意组合输出。例如输入文字可同时生成配图和配音,输入图片可生成描述文字和视频,实现真正的多模态内容创作。
3
跨模态语义推理
以Vicuna大语言模型为核心,对多模态输入进行深度语义理解和逻辑推理,输出文本响应及模态信号令牌,指导解码器生成相应内容,处理复杂跨模态问题。
4
模态切换指令微调(MosIT)
研究团队提出的MosIT方法及手工构建的高质量数据集,使模型能根据指令灵活切换输入输出模态,理解复杂场景下的用户意图,提升交互自然性和准确性。
5
低成本高效训练
仅需微调约1%的参数(特定投影层)即可实现端到端多模态对齐训练,充分利用现有预训练编码器和解码器,大幅降低训练成本,便于扩展更多模态。
6
开源可扩展架构
代码、数据集和论文全部开源,模块化设计便于研究者和开发者进行二次开发,可替换更强的语言模型基座或更优的解码器,扩展新的模态适配器。

优缺点分析

优点
+真正的任意到任意多模态能力,支持文本、图像、视频、音频的任意组合输入输出,突破传统模型仅支持固定模式的限制
+训练成本极低,仅需微调约1%的参数即可实现端到端多模态对齐,得益于对现有高性能模块的充分利用
+开源且架构模块化,便于研究者和开发者进行二次开发与模态扩展,推动多模态AI研究发展
缺点
-目前主要面向研究者和开发者,普通用户缺乏直接可用的在线交互界面,使用门槛较高
-模型能力仍有待进一步扩展,如支持更多模态、使用更大规模语言模型基座以及改进多模态生成策略

适用人群

AI研究人员和学者,用于多模态大模型研究及实验基线开发者和技术团队,基于开源代码进行二次开发和应用构建内容创作者,利用多模态生成能力辅助图文、视频等内容生产教育工作者,用于制作多模态教学材料或无障碍学习资源

常见问题

Q: NExT-GPT是什么?它和普通多模态模型有什么区别?
NExT-GPT是新加坡国立大学开源的任意模态到任意模态多模态大语言模型。普通多模态模型通常只支持多模态输入(如文本+图像)但仅输出文本,而NExT-GPT支持文本、图像、视频、音频的任意组合输入,并能生成任意组合的输出,实现了真正的“任意到任意”转换,更接近人类多感官交互方式。
Q: NExT-GPT是否免费?如何获取和使用?
NExT-GPT是开源项目,代码、数据集和论文均免费公开。用户可访问官网 https://next-gpt.github.io 获取论文和演示,从GitHub仓库克隆代码并下载模型权重,按照文档配置环境后运行。目前主要面向研究者和开发者,需要一定的技术背景,暂无面向普通用户的在线服务。
Q: NExT-GPT支持哪些模态?可以同时输入多种模态吗?
NExT-GPT支持文本、图像、视频、音频四种模态。用户可以任意组合这些模态作为输入,例如同时提供文字和图片,模型能够综合理解并生成所需模态的输出。输出也可以是任意组合,如同时生成图像和语音。这种灵活性是其核心优势。
Q: NExT-GPT的训练成本高吗?普通研究者能否复现?
NExT-GPT的训练成本相对较低,因为它仅需微调约1%的参数(特定投影层),并利用了现有的预训练编码器(如ImageBind)和解码器。普通研究者使用单机多卡或云GPU资源即可尝试复现和微调,项目开源了完整代码和数据集,降低了复现门槛。
Q: NExT-GPT有哪些局限性?未来会如何改进?
目前NExT-GPT主要面向研究用途,缺乏易用的在线界面;支持的模态种类和生成质量仍有提升空间。未来工作可扩展更多模态(如3D、触觉等),使用更大规模语言模型基座增强推理能力,并改进多模态生成策略以提升内容质量。团队鼓励社区共同推动发展。