把"自动发送"灰度上线的 4 个挡板

自动发送 (auto_send_enabled = on) 听起来像一个开关 —— 实际它牵动整条 销售触达管线的责任边界。这篇讲我们怎么把它从默认 off 灰度到 on,中间设 了哪些挡板,出问题怎么回滚。

背景

AI-SCRM 默认 auto_send_enabled = off: 所有 Agent 生成的回复必须人工点 send 才发。这是保守也是负责的默认。

但用户在 /agent/persona 配置了这个开关之后,大部分会问”我什么时候开?”我们整理了 4 步流程, 每一步都先要满足挡板,再进下一步。

挡板 1 · 你的知识库是不是 Agent 想用就能用

开自动发送的最低门槛: Agent 自动批准的回复必须强制带知识库引用。

控制台 → 知识库 → 看每条回答历史里 knowledge_refs 是否非空。 如果 80%+ 的回复都引用了知识库条目,说明知识库覆盖度够 → 进入挡板 2。

不到 80% 别开 —— Agent 会基于空气编 fact,自动发出去你救不回来。

挡板 2 · 风控告警率稳不稳

打开「风控审计」看最近 7 天:

• 敏感词命中率 < 2%
• 绝对承诺改写率 < 5%
• 频控拦截 < 10%

如果三个数都稳在阈值以下,说明 Agent 的话术风格跟你的风控规则匹配 → 进入挡板 3。

任意一项忽高忽低 → 调话术 prompt 或风控阈值,2 周后再评估。

挡板 3 · 选 1-2 个低风险群先开

不要一次全开。选两类群先试:

• 内部员工群 (我司销售 + 我司客服)
• 强连接客户群 (已成交 6+ 个月、合作密切)

把 confidence_threshold 临时上调到 0.85 (而不是默认的 0.6), 让 Agent 只对超高把握的回复自动发。其他还是 pending_manual。

观察 1 周:

• 客户回复率有没有掉?
• 有没有出现”客户问 A,Agent 答 B”的尴尬?
• 销售有没有在群里收到”这是机器人发的吗”?

都没问题 → 进入挡板 4。

挡板 4 · 全开但留审计每日 review

auto_send_enabled = on,confidence_threshold 调回 0.7, 但每天 11pm 自动给运营经理推送当天 auto-sent 的 sample 10 条。

经理花 5 分钟扫一遍,发现任何”不像我们风格”的 → 立刻关回 off。

这是最后一道挡板 —— 它认可”Agent 大多数时候没问题,但要有人在边上盯着, 不依赖 alerts、依赖 routine review”。

回滚

任何挡板出问题,回滚到上一级用一个开关:

/agent/persona → 群运营风控规则 → 是否自动发送消息 → 关闭 → 保存

后端 实现细节 — 关闭立即生效,不需要重启。 已经在 pending_manual_confirmation 的草稿不会被取消,需要操作员人工处理。

我们自己的灰度时间线

W1   挡板 1 · 知识库覆盖率从 60% 推到 85%
W2   挡板 2 · 风控告警调到稳态
W3   挡板 3 · 选 2 个内部员工群开,confidence_threshold = 0.85
W4-5 挡板 3 · 选 1 个长期客户群开,confidence_threshold = 0.80
W6   挡板 4 · 全开,confidence_threshold = 0.70,每日 review 上线

6 周。不是 1 天。

相关阅读

• 文档: 是否自动发送消息开关
• 文档: 首次接入
• 资源: 新人 7 日上手清单