大模型推理加速全链路：内存管理、编译优化、量化与并行策略

清华大学助理研究员金煜阳在QCon 2026北京站分享了大模型推理加速全链路技术，涵盖算子优化、内存管理、量化压缩、异构调度与并行策略。他指出，推理成本是AI产业落地核心瓶颈，智能体应用爆发加剧了算力需求。大模型推理分Prefill（计算密集）和Decode（访存密集）两阶段，模型规模扩大、架构复杂化（如MoE、混合注意力）带来四维挑战。团队开源推理引擎“赤兔”，适配国产芯片生态。性能优化依赖算子级调优、KV Cache内存管理、混合精度量化、CPU-GPU异构调度及自适应并行策略。其成果FlashTensor基于张量属性的细粒度图层优化，已发表于领域顶会。针对上下文与参数规模增速不匹配导致的中间结果膨胀问题，现有粗粒度融合存在并行度受限缺陷，需进一步探索编译与运行时协同方案。