从算子调优到推理自治：构建 MaaS 场景下的 AI Inference 自动优化闭环｜QCon上海

2026年QCon全球软件开发大会·上海站将于10月22日至24日举办，聚焦AI Native架构、Agent Runtime、AI Infra等方向。阿里巴巴高级技术专家杨林枫确认出席“AI Infra”专题，将分享《从算子调优到推理自治：构建MaaS场景下的AI Inference自动优化闭环》。针对MaaS场景中模型、硬件与请求工况快速变化、传统人工调优周期长的问题，该分享介绍一套自动优化流程：基于卡型、模型和典型工况探索部署配置，从生产Trace识别热门算子并生成可复现Benchmark，由Atrex Kernel Agent通过Agent Loop完成性能分析、代码生成与验证，再将结果回接推理框架进行端到端回归和灰度验证。相关实践已支撑阿里百炼MaaS大规模GPU集群优化，并助力Qwen3.8登顶NVIDIA SOL-ExecBench FlashInfer算子优化榜首。