Netflix采用云原生作业队列系统Kueue替代内部解决方案

Netflix已将大部分批处理工作负载迁移至开源云原生作业队列系统Kueue，以逐步替代其自2018年起使用的内部解决方案CMB。CMB基于容器平台Titus构建，用于管理容器化计算上的批处理作业，但随着Kubernetes生态系统的演进，其关键功能已多被开源项目覆盖，且新功能开发因集成不紧密而愈发困难。工程师最终选择Kueue，因其功能广泛、灵活性高、采用率广且创新速度快。迁移过程对现有用户透明，通过API兼容降低风险，并将内部租户映射为Kueue的Cohorts及ClusterQueue/LocalQueue资源。目前，Netflix在生产环境中用Kueue管理数百万个批处理工作负载，并通过基于抢占的公平共享提高了资源利用率，同时保留预留语义。团队经验包括优先迁移最复杂客户以建立信心，以及保持API兼容性和非生产环境负载测试的重要性。迁移仍在进行中。