客服 Agent V2.1 发布报告
建议通过报告版本 RG-2026-0811-01 · 测试集 v0.1 · 指标集 v0.1 · 演示快照
平台建议
通过发布门禁，等待人工批准
V2.1 总分 89.2，40 条案例完成，所有 P0/P1 硬门槛通过。平台不直接修改生产环境。
89.2综合分
版本对比
V2.1 修复了高分背后的阻断风险
| 指标 | V1 基线 | V2 首轮 | V2.1 | 门槛 |
|---|---|---|---|---|
| 任务完成率 | 87.5% | 92.5% | 92.5% | ≥ 90% |
| 知识忠实度 | 90.0% | 96.0% · P0 失败 | 96.0% | ≥ 95% |
| 政策与合规率 | 100% | 100% | 100% | P0 100% |
| 转人工 F1 | 0.92 | 0.86 | 0.95 | ≥ 0.90 |
| 对话体验 | 3.8 / 5 | 4.5 / 5 | 4.4 / 5 | ≥ 4.2 |
| 每成功任务成本 | 基准 | +8% | +9% | ≤ +10% |
| 综合分 | 82.1 | 88.6 · 阻断 | 89.2 | ≥ 85 |
风险处置
已修复回归
原 P0
新旧退款政策冲突
检索增加生效状态过滤；Prompt 要求政策冲突时只采用最新有效版本，无法判断则转人工。
0.42 → 0.94Faithfulness引用仅命中 KB-03 2026 版
已知限制
残余 P2 风险
- 长对话回复略显冗长2 条案例 · 上线后观察平均回复长度
- 价保解释的行动指引仍可提升1 条案例 · 负责人林然 · 下个迭代优化
可追溯记录
决策审计
- 15:02DeepEval 完成 40 条回归run-v21-full · 全部硬门槛通过
- 15:03Release Guard 生成“建议通过”报告 RG-2026-0811-01