2026/11/6 2:15:49
大模型接口今年第十九次中断后,客服小程序的降级改造
大模型接口今年第十九次中断后,客服小程序的降级改造
11 月 3 日下午,技术群里还没动静,客服群先炸了。我们给一家做家电售后的客户做的微信客服小程序,接了某家国产大模型的接口做意图识别和话术生成,平峰一天两万多轮对话。三点多开始,会话列表以每分钟四十多条的速积压,监控面板上的接口成功率从 99.6% 直接蹲到 0,错误码统一是 503。
新闻稿隔了半个多小时才出来——“DeepSeek 又崩了”,说这是年内第十九次大规模中断,网页端和 API 一起失效。
不是第一次碰上,但这次刚好把降级链路做完不久,值得记一笔。

## 一、先说清楚:这套系统里 AI 到底在干什么
不想用“AI 客服”这种大词。具体就三件事:
1. 意图分类:用户输入“空调不制冷还滴水”,归到“制冷故障/漏水”工单类型;
2. 槽位抽取:从一段话里抠出型号、购买时间、故障现象;
3. 话术润色:把标准话术改得更贴合用户语气。
这三件事的重要程度不一样。第 3 件挂了无所谓,第 1、2 件挂了,整个报修流程就走不动——工单系统要求必须有类型和型号才能派单。
所以第一版设计我们犯了个错:三件事绑在同一个模型调用里,一次请求返回一个大 JSON。接口一挂,全挂。
## 二、第一层:超时、熔断、半开
原来客户端没设超时,依赖 SDK 默认值(有的版本是 60 秒)。高峰期请求排队,一个用户的问话要等半分钟,前端转圈,用户以为坏了就反复点,越点越堵。
改了三处:
- 连接超时 1.5 秒,读超时 6 秒。生成类请求放宽到 12 秒,但分类请求必须 6 秒内返回;
- 熔断器:连续 20 次失败或 30 秒内失败率超 50%,直接打开,后续请求不再打出去,本地立即走兜底;
- 半开探测:每 30 秒放 3 个真实请求过去试,成功两个就闭合。
这层做完,接口挂的时候用户端不会卡住,而是“秒回”一句兜底话术。体验上至少不掉线。
## 三、第二层:主备切换,痛点在格式
接第二家供应商是必须的。但同一段提示词喂给两家模型,输出结构能差出一倍。
比如工单类型字段,一家返回 `{"type": "制冷故障"}`,另一家返回 `{"type":"cooling_fault","confidence":0.87}`。槽位字段的命名也不统一,`model`、`product_model`、`deviceModel` 三种写法我们都遇到过。
所以中间加了一层适配器:
- 统一入参:messages、temperature、max_tokens、response_schema;
- 统一出参:`{intent, slots, reply, provider, latency}`;
- 每个供应商一个实现类,负责提示词模板和 JSON 修复。JSON 修复这块特别重要,模型偶尔会在 JSON 前面加一句“好的,以下是结果:”,直接 parse 必炸。
切换策略不是简单的“主挂了用备”,而是按任务分流:分类走便宜快的小模型,润色走主模型,备模型只承接分类和抽取。这样切换时能力损失最小。
## 四、第三层:兜底不是“抱歉,我暂时无法回答”
如果降级只是给用户一句道歉,等于把活全推给人工。我们算过,中断半小时就能堆两百多通待转人工,客服根本接不住。
所以做了个纯本地的兜底引擎:
- 关键词加正则规则库,覆盖两万条历史工单里出现频率最高的 300 个故障表述;
- 本地 BM25 检索,用历史问答对做召回,不依赖向量模型;
- 型号校验用本地产品库做模糊匹配,允许错别字和简称。
这里有个细节值得说。一开始想用向量检索兜底,后来发现 embedding 接口和 chat 接口往往是同一家,一起挂;本地跑 embedding 又要显卡。最后退回 BM25,效果差一截,但至少活得下来。
现在兜底召回率大概 62%,能覆盖大部分常见报修,冷门问题还是转人工,但队列压力从“爆”降到了“忙”。
## 五、第四层:把降级告诉用户,别装没事
这条是产品侧改的,跟代码关系不大,但效果最明显。
原来降级时用户完全无感,只是觉得“这个客服变笨了”。后来改了三处:
- 兜底回答后追加一句“当前为快速应答,如需详细处理请点转人工”;
- 转人工按钮从二级菜单提到首屏;
- 企业微信群同步一条告警,值班运营能提前知道今天会有多少人工工单。
不静默降级,是这次最大的收获。用户能接受系统坏,不能接受被糊弄。
## 六、可观测:把每次降级记成事件
原来只有一条接口成功率曲线,看不出“降级持续了多久、影响了多少人”。
现在每次走兜底都往事件表里写一行:时间、用户 ID、任务类型、失败原因、命中的规则 ID。跑一周就能算出各供应商的月度可用率、降级期间工单转化率下降多少、哪些兜底规则命中率高可以沉淀成正式话术。
这些数据后来还帮上了忙——续费谈判的时候,供应商的 SLA 是白纸黑字,我们手里有实测。
## 七、代价
说点不好听的:
- 多接一家就多一份密钥、多一份合规审查、多一份账要对。客户是家电售后,用户信息里有地址电话,安全那边过了两轮;
- 适配层代码量涨了差不多 40%,供应商每次改接口都要跟着动;
- 兜底规则库需要人维护,不是写完就完事,我们排了每两周一次的复盘。
但那天下午三点半,接口全挂的时候,系统没崩,工单还在进,客服没被淹没。就值了。
## 最后
如果你的系统里,大模型的输出是业务链路的必经环节,而不是锦上添花,就别把它当成一个普通 HTTP 接口来对待。
按“它一定会挂”来设计,比按“它应该不会挂”来祈祷,便宜得多。
顺便说一句,做这类项目时我越来越觉得,“定制”这两个字的重点不在写代码,而在替客户想清楚:哪些流程可以被降级,哪些绝对不能断。这个问题想不明白,接哪家的模型都一样。




