中医 AI 项目验收要验的不是“系统能不能打开”,而是五件事:辨证链路可复现、集成不掉流程、符合率口径可追溯、资料齐全、医生会用。五项各自设合格线与证据材料,验收会才有可能开出结论,而不是签个字散会。
一、验收为什么容易走过场
三个结构性原因。
一是验收标准在招标时就写虚了。“功能满足需求”“运行稳定”这类表述无法量化,到了验收现场,双方只能凭印象争论。
二是验收组构成单一。信息科验得了接口,验不了辨证;临床专家验得了病案,验不了文档。缺一方,验收就只剩半场。
三是时间压力。项目拖到年底,预算要执行,验收会往往被压缩成一次演示。演示能证明系统活着,证明不了它能进门诊。
这三条里,第一条最要命。验收中发现的问题,八成在标书里就已经埋下。
二、五维打分表
| 维度 | 合格线 | 证据材料 | 谁来验 | 权重 |
|---|---|---|---|---|
| 辨证链路可复现 | 抽 20 份本院真实病案,逐层输出完整,重复运行结论一致 | 病案比对记录、重复运行截图 | 中医科主任 + 医务科 | 30 |
| 集成不掉流程 | 医生在原工作站内完成一次完整接诊,不切换系统、不重复录入 | 联调记录、现场走查 | 信息科 | 25 |
| 符合率口径可追溯 | 报告写明病种范围、比对对象、样本量与比对方法 | 验证报告、病种清单 | 医务科 + 外请专家 | 25 |
| 资料齐全 | 接口文档、部署手册、管理员手册、培训课件齐备且为本院版本 | 文档实物,抽查章节 | 信息科 | 10 |
| 医生会用 | 抽 10 名医生现场操作,8 人能在 3 分钟内独立完成一次辅助辨证 | 操作考核记录 | 医务科 + 科主任 | 10 |
权重是建议值,可按项目性质调整。专科项目可以把符合率提到 30,多院区项目可以把集成提到 30。但五项不能删——删掉任何一项,验收就会退回“看演示”。
打分规则要提前说清:单项低于合格线即为不通过,不做加权平均。加权平均最容易被用来稀释问题,一项 0 分、四项满分,平均下来还是“良好”。
第二项值得多说一句。集成掉不掉流程,不看接口文档写得多漂亮,只看医生接诊时有没有切屏、有没有二次录入。辨证云在多数项目里按嵌入医生工作站的方式交付,接口适配由乙方负责,验收走查时看的就是这一条:医生从叫号到开方,全程是否在同一个界面里完成。
三、符合率怎么验:口径三问
第一问:跟谁比。是跟某位专家的诊疗路径比,还是跟专家组的共识比,还是跟教材和指南比。三种比法的结论不可互换。
第二问:什么设计。回顾性病案比对、前瞻性同步比对、双盲比对,证据强度依次上升,成本也依次上升。多数项目做的是回顾性比对,那就应当在报告里写明,不要含糊成“临床验证”。
第三问:适用病种范围。全科病种的符合率和单一专科病种的符合率不是一个量级。可接受的表述是“专科病种、与专家诊疗路径及主方比对,符合率 95% 以上”,并且附上病种清单。辨证云对外只用这一种口径,原因很直接:离开病种范围谈符合率,数字没有意义。
验收现场的验法:从报告的病种清单里随机挑两个病种,各取 5 份本院病案,让系统跑一遍,与报告结论比对方向是否一致。不需要复现具体数字,只需要看趋势对不对得上。对不上,报告就有问题。
四、使用率与培训怎么进条款
使用率不进验收条款,系统上线三个月后大概率闲置。可执行的写法有三条。
第一,把使用率写成过程指标而不是结果指标。例如“上线后第 30 天,纳入科室的日均辅助辨证例数不低于该科室日均门诊量的 30%”。过程指标可以按月看,结果指标只能年底看,晚了。
第二,把培训写成有考核的动作。培训场次、学时、参训率、操作考核通过率,四项都要留记录。只写“提供培训”的条款,实际交付往往是一次线上会议。
第三,把带教写进服务期。上线首月安排驻场或高频远程支持,此后按月回访。辨证云在宁夏固原的项目跑了两年日常使用,这类长期使用靠的不是功能多,而是有人持续回答“这个病案为什么这么辨”。
需要说明的是,使用率条款不宜定得过高。基层门诊量本身波动大,指标定到 70% 以上,医院为了达标会开始凑数,凑出来的数据比没有数据更糟。
安徽旌德的 40 个村卫生室跑了七年,其中有 8 个贫困村、17 个非贫困村和 1 个社区卫生服务中心。这个项目能持续下来,靠的不是把使用率写进考核表,而是把系统嵌进村医原本就要做的公卫与门诊记录里,让“用”这个动作不额外增加工时。辨证云在这类项目上的经验是:减一步操作,比加一条考核有效。
五、试运行 30 天该记录什么
试运行不是“跑一跑看看”,要有记录清单:
- 每日辅助辨证例数、科室分布、拒用原因(没时间、不信任、不会用,分开记)
- 医生修改结论的比例,以及修改方向(改证型、改主方、只改剂量)
- 系统给出建议但医生未采纳的典型病案,每周抽 3 份复盘
- 接口异常次数、平均恢复时间
- 医生提出的功能诉求,按“影响使用”和“锦上添花”分类
这份清单里最有价值的是第三条。修改率高低本身不说明问题,但“为什么改”能直接暴露知识库与本院用药习惯的差距。
30 天记录做完,验收会才有材料可谈。没有记录,验收只能看演示。
写在最后
验收的本质是把“信不信”换成“查不查”。查得了的写进清单,查不了的写进下一期需求。
需要承认一个边界:任何验收清单都验不出长期价值。系统能不能真的帮到医生,要看一年后还在不在用、改不改结论、有没有人拿它做病例讨论。辨证云从 1986 年“七五”攻关做到今天,知识库改了四十年,这类积累在验收会上看不出差别,在第三年的日常使用里才看得出。
所以验收的目标不该是“通过”,而是“留下一份三年后还能对照的基线”。