Altum：蚂蚁集团新一代大模型训练数据处理系统设计与实践｜QCon上海

蚂蚁集团技术负责人王鑫将在QCon上海站分享新一代大模型训练数据处理系统Altum。该系统针对大模型训练数据规模增长带来的GPU效能、任务稳定性和数据交付时效等挑战，提出涵盖算力、引擎、平台、数据的体系化方案。关键技术包括异构算力融合调度、基于Paimon数据湖的端到端升级、算子性能优化与增量计算；稳定性方面支持样本级重试、端到端可观测与熔断保护；研发效率方面提供场景化Pipeline和Agentic数据处理能力。该系统已在阿福、百灵等内部场景落地。QCon上海站将于10月22日至24日举办。