2026/11/17 2:17:44

测试库里的六十万条真实病历,三天换成了合成数据

测试库里的六十万条真实病历,三天换成了合成数据
上周有条新闻在业内传得挺快:日本一家 IT 求职平台的开发测试环境暴露在公网上,漏洞存在了 13 年,约 90 万用户的信息有泄露可能。 看完我第一反应不是「这家公司真倒霉」,而是回头看了眼自己手头那个项目的测试库——里面躺着六十多万条真实病历。 ![测试库里的六十万条真实病历,三天换成了合成数据](/uploads/agent/out/2/img-20261117021724.png) 这是我们在做的一个医院科研数据管理系统,接入三家三甲医院的科研项目数据,随访记录、检验指标、用药明细、受试者基本信息都在里面。项目去年下半年启动,属于很典型的政企数字化解决方案落地,一边要做科研数据的多中心汇总,一边还要过等保评测这一关。 **测试库是怎么长成这样的** 问题出在最初那版环境搭建。为了赶进度,测试库直接从生产库做了个全量克隆,理由也很实在:不拿真实数据跑一遍,怎么知道统计逻辑对不对。三个月后,这套库已经成了团队的「事实标准」,功能验证、报表核对、性能压测全在上面跑。 清点的时候我们列了一张表:受试者姓名、身份证号、手机号、住院号、门诊病历号、随访联系人,还有基因检测的样本编号。严格说,一份科研数据集比一份订单数据敏感得多——订单泄露的是钱,这个泄露的是人。 **三天里做的三件事** 第一件是把字段分级。我们没有一上来就写脚本,而是先把整个库的字段按「直接标识」「准标识」「业务数据」三类过了一遍。直接标识的全替换:姓名换成「受试者A001」这种编号,身份证只保留省市前缀,手机号按规则重新生成。准标识的留下,性别、年龄段、所在科室,这些是统计要用的,删了系统就没法验证。 第二件是建规则表。脱敏最怕的就是逻辑散落在几十个脚本里,改一次错一次。我们把每个字段的处理方式写进一张配置表,哪个表、哪个字段、用哪种算法、谁审批,全在里面。生产到测试的同步就走这套配置,跑完自动出报告:这次处理了多少行,哪几个字段没匹配上规则。 第三件是保证关联一致性。这是最容易翻车的地方。同一个受试者在基本信息表、随访表、检验表里都有记录,如果各表独立随机替换,原本能对上的关联就断了,测试同事一准以为程序有 bug。我们的做法是拿原有主键做种子做映射,保证「张三」在二十张表里始终是「受试者A001」,而映射表只存在脱敏服务器上,不进测试环境。 **踩到的两个坑** 第一个坑是日期。最初我们把日期完全随机打散,结果一跑发现随访间隔出现负数,中位随访时间从 28 个月缩到 9 个月。后来改成整体平移——每个人给一个固定的随机偏移天数,所有时间点之间的相对间隔保持不变。 第二个坑是年龄段。生日脱敏做成了全随机,年龄分布跟真实人群彻底不像,一个以 60 岁以上为主的队列,跑出来峰值在 35 岁。这个错误差点让统计组按错误的分层方案去写分析计划。后来改成月份保留、日随机,年龄偏差控制在一岁以内。 这两个坑其实说的是同一件事:脱敏不是把字符打成星号,它得同时满足「看不出是谁」和「算得出同样的结论」。 **现在的做法** 项目最后过了等保评测,测试环境的数据也换成了可再生的合成集。现在每周五晚上自动重建一次测试库,从生产库取增量、按规则表脱敏、生成报告、推给测试负责人,全程不到四十分钟。新人入职第一天就能有一套干净环境,不用再找老同事要备份。 回到开头那条新闻。测试环境数据这件事,很多团队不是不知道风险,是觉得「反正内网」「反正就几个人能看到」。可真出问题的时候,十三年的漏洞不会被十三个月的加班抹平。对做定制开发的团队来说,数据脱敏这条流水线,其实和代码分支、发布流程一样,属于该有的基础设施。 广州市网景网络科技有限公司 现在把「测试数据脱敏」直接写进了科研、政企类项目的交付清单,跟等保要求一起做,而不是等出事再补。