2026/11/12 2:17:32

票据审核 Agent 交付,准确率被写进了合同

票据审核 Agent 交付,准确率被写进了合同
11 月 11 日看到一条消息,说 Kimi 开始把数字员工“租”出去,Agent 的计价锚点正在从软件预算滑向人力预算。我盯着这句话看了很久,因为我们刚交付完一个票据审核 Agent,合同改了三版,吵的都是同一件事:这东西到底该按什么计价、按什么验收。 那项目是给一家集团财务共享中心做的,每月十二万张票据,差旅、办公、餐饮三类,原来六个审核员。系统上线四个月,最终方案不是“全自动”,而是“自动通过 + 阈值转人工”。下面是一些具体的东西。 ![票据审核 Agent 交付,准确率被写进了合同](/uploads/agent/out/2/img-20261112021718.png) ## 一、先划清楚它到底判什么 我们把 Agent 的职责拆成三段,而不是把“审核”一整个丢给模型: 1. 票据抽取:从发票图像里拿到代码、号码、金额、税额、日期、购方销方、税号; 2. 三单匹配:发票、报销单、审批单三个票据的关键字段对齐; 3. 规则校验:抬头是否本单位、税号是否正确、金额是否超预算、日期是否在行程内、是否重复报销。 注意,第 1 段是 OCR 的活,第 2 段是确定性代码,第 3 段才是模型。如果一开始就把三段混在一个 prompt 里,后面根本没法定位到底是哪一环错了。 ## 二、怎么验收一个概率型系统 客户最初提的要求是“准确率 99% 以上”。这句话没法写进合同,因为没说清是什么准确率。 我们后来拆成了四个指标,每个都有抽样口径: - 字段抽取准确率:抽 500 张票逐字段比对,目标是九五以上; - 匹配召回率:人工造 200 组“半对半不对”的单据,看能不能报出来; - 规则误报率:把历史上被判有问题的 300 单重跑一遗,看多少被判回; - 转人工率:目标是不超过两成,否则省不下人力。 最后合同里写的是“自动通过部分的人工复核差错率不超过千分之五”,而不是笼统的准确率。这句改得很关键,它把风险贵任和验收依据同时固定了。 ## 三、置信度阈值是最难调的一个数 模型每单都给一个分。阈值定高了,转人工太多,客户觉得没省事;定低了,错单漏到财务帐上,后果更重。 我们最后定在 0.93,是这么试出来的:拿三千单历史数据跑,把阈值从 0.80 到 0.99 每隔一级算一次,统计“自动通过量”和“错判量”。0.93 是错判率达到合同红线前的最后一个台阶。 现在大约 82% 自动通过,剩下 18% 转人工。转人工的单据会带上“转人工原因”,比如“税号与供应商主数据不一致”,审核员看一眼就能处理,比重新核一遍快很多。 ## 四、三个绕不过的工程细节 第一是去重。同一张票可能被三个同事分别拍照上传。我们把发票代码加号码加金额拼成哈希做唯一索引,重复的直接拦掉,不送模型。这一条上线后直接省了约一成的调用量。 第二是留痕。每一单必须存“判断依据”:命中了哪条规则、识别的原文长什么样、模型给的置信度是多少。财务审计的时候要能逐单解释,而模型是解释不了自己的。 第三是防胡说。模型偶尔会在税号字段“补全”出一个看起来合理的号码。我们在后面加了一道白名单校验,与供应商主数据对不上的一律标红,不允许自动通过。光这一个检查,拦下了十几单幻觉。 ## 五、报价怎么谈的 客户一开始想按“节省的人力”分成,我们没接。因为节省多少人力取决于他们的流程改造,不取决于软件。 最后定的是“基础年费 + 自动通过单量计费”,单价比人工审核一张票据的综合成本低大概四成。对客户来说,用多少付多少;对我们来说,自动通过率越高收入越高,双方目标一致。 上线四个月的数:审核周期从平均三天缩到当天,自动通过部分的人工复核差错率千分之六点八(略高于合同的千分之五,后来靠补规则拉回来了),报销人投诉量下降。 ## 六、出过的事故 说两个真事。 一是模型升级。供应商换了个版本,字段抽取看着更准了,但一批境外发票的税率字段开始错位。我们没做版本回归就直接上了灰度,第二天财务发现三十多单税额对不上。后来规定:模型版本变更必须重跑固定评测集,不达基线不准上。 二是版式变更。有家供应商换了发票模板,“备注”栏从右下角移到了中间,抽取直接空。这个靠模型自己适应不现实,我们把抽取结果做了字段完整性校验,缺失就转人工并告警,当天就发现了。 ## 最后 Agent 项目最容易谈崩的地方,不是技术能不能做,而是“什么叫做好了”没人说清楚。客户想要一个不会错的人,而我们能给的是一个会犯错但知道什么时候该求助的系统。 所以现在接这类项目,我会先问三个问题:错了谁负责、错了怎么发现、发现了怎么改。三个都有答案,再谈价格。