详细介绍
工具简介
Cyanpuppets(中文名“青色木偶”)是一家专注于AI动作捕捉与3D动作数据生成的技术公司,其核心产品CYAN.AI平台基于自研的动作大模型,开创性地利用人工智能图像算法实现从2D视频到3D动作数据的高效转换。该平台以卷积神经网络(CNN)和深度神经网络(DNN)为核心架构,结合计算机视觉、生物力学与动力学技术,打造出一套无需穿戴任何动捕设备即可完成高精度人体动作捕捉的解决方案,旨在打破虚拟世界与现实世界之间的协作壁垒,为3D内容创作提供低门槛、高效率的生产工具。
根据官网信息,Cyanpuppets自研的CYAN.AI平台结合NVIDIA GPU算力,实现了真正的三维空间自由人体运动捕捉能力。平台累计交付超过200家企业客户,服务范围覆盖动画、游戏、影视、XR、电视台、高校、娱乐、医疗、体育等多个领域。公司曾获得千万级天使轮融资,并得到NVIDIA INCEPTION PROGRAM、Intel Partner Alliance计划以及Unity黑马计划的支持,在技术生态与产业合作方面具备较强的背书。
技术原理与核心架构
CYAN.AI平台的技术核心在于其动作大模型。该模型以CNN和DNN为底层架构,参数量高达9亿,能够从普通的2D视频中提取人体动作的关键特征,完成人体姿态识别与追踪。平台可追踪超过208个人体关键点,其中面部捕捉140个关键点、手指捕捉21个关键点、肢体捕捉30个关键点,实现了从面部表情到肢体动作再到手部细节的全维度高精度还原。
在算法层面,平台辅以动捕特征平滑算法、图像识别多目协同、空间检测及定位算法、重定向算法(Retargeting)和骨骼映射算法等多种自研算法。这些算法协同工作,使得平台能够在复杂、狭小或多干扰物的环境中依然稳定地完成动作捕捉,并实现低至0.1秒的延迟,满足实时性要求较高的应用场景。值得一提的是,平台对硬件的要求并不苛刻,使用消费级显卡如GeForce RTX 3060即可流畅稳定运行在30 FPS以上,大幅降低了专业级动作捕捉的硬件门槛。
主要功能
高精度全维度动作捕捉
平台支持面部、手指、肢体三大模块的同步跟踪,总计208个关键点的捕捉能力使其能够细腻还原面部表情变化、手指细微动作以及全身肢体姿态。对于虚拟人驱动、动画制作等对细节要求较高的场景,这一精度水平能够显著减少后期修正的工作量。
跨平台骨骼适配与驱动
CYAN.AI构建了全新的骨骼系统,通过自研的Retargeting算法,能够对主流3D模型骨骼系统进行匹配映射,兼容范围包括MetaHuman、Unreal Skeleton Asset、Daz、CC4、iClone、Unity Avatar、VRM、MMD、Mixamo、Maya Advanced Skeleton、Maya HumanIK、3ds Max Biped等。这意味着用户无需担心自己的虚拟形象使用何种骨骼标准,平台都能将其与捕捉到的动作数据对接,让虚拟化身的全身驱动不再是一个个割裂的数字孤岛。
无穿戴、无场地限制的捕捉方式
与传统光学动捕或惯性动捕不同,Cyanpuppets无需动捕服、标记点或复杂标定工具,仅通过手机、多目网络摄像头或4K工业摄像头即可完成捕捉。平台支持在3x3平方米至9x9平方米的大空间内实时操作,架构可对场地进行自动标定,自动识别并切割人物、背景与障碍物,即使在复杂环境中也能保持稳定捕捉。捕捉完成后可一键导出FBX数据至本地文件夹,方便接入后续制作流程。
实时预览与低延迟输出
得益于9亿参数量的模型与GPU加速,平台能够以0.1秒的延迟实现超低延时的视觉动作捕捉,用户可以在捕捉过程中实时预览动作效果,所见即所得,极大提升了动画制作与虚拟直播的效率。
使用方法与部署流程
使用Cyanpuppets的整体流程较为简洁。首先,用户需要在官网下载对应客户端并进行安装,平台对硬件的要求较为友好,配备GeForce RTX 3060级别显卡的电脑即可流畅运行。其次,用户通过手机、网络摄像头或工业摄像头采集视频画面,平台会自动完成场地标定与人物识别。随后,系统实时将2D视频转换为3D骨骼动作数据,用户可选择适配的骨骼系统进行重定向映射。最后,确认动作效果后一键导出FBX文件,导入至Unity、Unreal Engine、Maya、Blender等主流三维软件中继续使用。整个流程几乎不需要专业动捕知识,部署难度较低,独立创作者也能快速上手。
产品优势
- 成本优势显著:无需购置动捕服、标记点、光学镜头阵列等昂贵设备,仅需普通摄像头与消费级显卡即可完成专业级捕捉,大幅降低了动作捕捉的硬件投入。
- 精度与实时性兼顾:208个关键点捕捉配合0.1秒延迟,在保证细节还原的同时满足实时应用需求,适用于虚拟直播、实时互动等场景。
- 兼容性强:骨骼重定向算法覆盖MetaHuman、Mixamo、VRM、MMD等主流标准,导出FBX可无缝接入现有3D制作管线。
- 环境适应性强:自动标定与人物背景切割算法使其在狭小或复杂空间中依然稳定工作,降低了对拍摄场地的要求。
应用场景
Cyanpuppets的应用场景十分广泛。在动画与游戏制作领域,独立创作者和工作室可以用它快速生成角色动作数据,缩短动画制作周期;在虚拟直播与虚拟社交领域,平台可驱动虚拟化身实现全身互动,提升直播的沉浸感;在影视与XR内容制作中,它能够为预演和特效制作提供动作参考;在教育与医疗领域,动作捕捉数据可用于运动分析、康复评估等用途;此外,在体育训练和电视台节目制作中,平台同样能够发挥动作数据采集与可视化分析的价值。综合来看,Cyanpuppets以AI技术为核心,正在为3D内容创作提供一种低门槛、高效率且精度可靠的动作捕捉新范式。


