推理成为新中心、Agent把生产级问题提前：AI Infra 的边界正在被重写

2026 年 KubeCon China 期间，CNCF、OpenInfra 与 PyTorch 三个开源社区首次同台。OpenInfra 的 Thierry Carrez、CNCF 的 Jonathan Bryce、PyTorch 基金会的 Mark Collier 及 CNCF CTO Chris Aniszczyk 在媒体会上指出，AI 进入生产环境后，原有基础设施能力已不够用。Carrez 称“无基础设施，不 AI”。Bryce 表示，AI 正把异构性重新带回基础设施，GPU 与加速器多样、利用率要求高，单个请求内部也需按 KV Cache、Prefill、Decode 等阶段匹配不同资源。Agent 则带来高并行、难预测的负载，Wikipedia 案例中其访问量约占 35%，资源消耗却超 60%。推理正成为增长最快的 AI 工作负载，vLLM 贡献者一年增长超 180%。Mark Collier 称训练与推理迭代已压缩至以天计，PyTorch 目标是让模型可在任意芯片与云上运行。