Netflix详述如何扩展其实时服务地图

Netflix近日通过技术博客披露其实时服务地图Service Topology的流式处理管道重构方案，以支撑生产规模下的高效运行。该系统现采用三阶段架构，将中间解析与数据丰富、持久化分离，并把背压信号回传至Kafka，避免记录丢失；同时以服务器发送事件（SSE）替代gRPC，降低高流量内部传输的序列化及内存开销。 Service Topology整合eBPF网络流、IPC指标及分布式追踪数据，支持分层查询或合并视图，用于事故调查、影响分析和变更管理。新管道中，原始流记录经消费、过滤及五分钟窗口批处理生成初始聚合器，随后解析为应用间直接依赖边，最终在持久化前补充健康、归属等元数据。该设计解决了热点问题——此前热门目标实例流量可达典型值百倍，分离后负载可重新分配。 管道基于Apache Pekko Streams管理背压，存储滞后时压力逐级上传至Kafka消费者暂停，以新鲜度延迟换取数据完整性。处理集群采用一致性哈希实现聚合器归属，实例增减仅迁移受影响部分。历史重建则依赖时间窗口快照及属性级变更记录，支持指定时刻拓扑还原。