9月11日·星期五 10:00·来源:InfoQ

端侧优先,云端兜底:端云协同调度在B端应用的工程实践|QCon上海

快手电商B端商家前端负责人李东东将在QCon上海站分享端云协同调度在B端应用的工程实践。针对B端接入AI后云端推理延迟高、成本贵、数据出域风险大,而纯端侧算力不足的矛盾,其团队构建了端云协同调度系统,采用规则引擎短路、端侧推理、云端推理三层决策机制,并支持混合流水线。调度器综合评估任务复杂度、端侧模型就绪状态、设备性能与网络质量,动态决策执行路径,云端失败时自动降级。系统已在B端桌面端集成,规则引擎覆盖60%以上高频场景,端侧推理延迟稳定在100ms以内。演讲将涵盖调度器设计、端侧模型选型、混合流水线实现及端侧优先原则下的取舍与踩坑。
本文摘要由千智坊基于公开报道整理,查看完整内容:阅读原文(InfoQ)→