单个机柜到底能跑多少个 Agent？答案不在 GPU 身上

多家厂商近期密集发布新一代基础模型，普遍强化Agent适配能力，推动智能体加速进入企业端。数据显示，2026至2027年中国企业场景活跃Agent数量单年同比增长超200%，2031年预计达3.5亿个。现有数据中心多按大模型单次推理吞吐量设计，难以应对Agent高频、突发、有状态及工具调用穿插的负载。谷歌调研显示83%企业高管认为基础设施需为Agent时代调整，AMD、AWS与NVIDIA亦相继布局。英特尔8月白皮书提出，优化关键不在理论参数，而在实际场景下满足延迟承诺时能维持多少Agent任务量。其拆解显示，单轮Agent任务约40%时间用于模型调用，60%在主机端CPU，其中工具执行占35%。并发32个会话时，主机端CPU耗时占比从不足1%跃升至11%至15%，其中94%增长来自调度与排队。