不下班的经营者：把 LLM-as-Judge 做成会自我校准的评估闭环｜QCon上海

阶跃星辰开放平台产品负责人陶炳哲将在QCon上海站“AI Agent可观测与持续改进工程”专题分享《不下班的经营者：把LLM-as-Judge做成会自我校准的评估闭环》。他指出多数Agent上生产后易跑偏，根因是缺少独立评估闭环。分享拆解两条生产级Loop：会议纪要自动生成与开放平台权限开通流程。核心为双层评估机制，生产checker与盲评Meta-Evaluator分数偏差超8分即触发rubric校准，每周以三Agent单变量对抗迭代实现自进化，并支持快照回滚。他还将给出Loop设计八问、隐性失控信号监控方式及真实踩坑案例。