Netflix 采用开源 Flink Autoscaler，支撑超 3 万个流式作业

Netflix 正将 3 万多个流式作业迁移至开源 Apache Flink Autoscaler，覆盖多个 AWS 区域。此前其基于集群级的扩缩容方案对含异构算子的复杂有状态管道效果不佳，所有算子共享同一扩缩容决策。新方案利用作业指标估算各算子真实处理速率，遍历作业图分别计算并行度，相关方法见 FLIP-271，并借鉴 DS2 项目研究。Netflix 将其与内部控制平面集成，用 Temporal 工作流隔离各作业决策，并改造 JobManager 指标收集以支持最多 3000 个子任务，同时处理 Sink 回压与前向连接子图保留。某团队借此将 Flink 计算支出年化降低 58%，年省约 110 万美元。Netflix 利用率目标设为 0.45，低于社区默认 0.7。