客服 Agent V2.1 上线监控
灰度正常灰度发布 · 生产信号均为合成数据 · 监控窗口 30 分钟
生产门禁
关键指标与处置状态
指标当前值门槛数据来源状态
P0 线上失败率0%= 0%DeepEval 抽样评测正常
无效引用率0.2%≤ 0.5%规则检测正常
转人工 Recall100%= 100%工具轨迹正常
任务完成率92.8%≥ 90%业务结果正常
P95 响应延迟2.3 s≤ 3.0 sPhoenix Trace正常
每成功任务成本+7%≤ +10%系统日志正常
趋势观察
最近 30 分钟生产信号
2.0%1.0%0%
门槛 0.5%
10:0010:1010:2010:30
柱形表示无效引用率。告警场景中，10:25 后连续两个窗口超过 0.5% 门槛。
治理流程
告警、决策与外部执行
- 1采集生产信号
Phoenix 记录 Trace；系统日志提供延迟、成本和业务结果。
- 2抽样执行在线评测
DeepEval 对脱敏样本计算质量指标，Release Guard 应用生产门禁。
- 3冻结灰度并组织复核
P0 出现后停止扩大流量，但不直接操作生产部署。
- 4记录人工决定
回滚或继续灰度的决定、理由和证据均进入审计记录。
- 5外部发布系统执行
Release Guard 输出指令建议，流量切换由具备生产权限的系统完成。