第 84 问

一个通过合规审查的 AI,为什么仍可能不准确、不一致或不可信?

第 84 / 100 问安全治理、合规与人的异议权

合规审批通过以后,业务团队很容易把它理解成“系统可以放心使用”。合规、准确、稳定和业务可信,回答的其实是四个不同问题。

合规通过只说明系统在特定用途和范围内满足相应要求。可信还需要能力评测、生产运行和业务责任的独立证据。

四个维度分别验收

维度 核心问题 典型证据

合规 数据、权限、供应商和程序是否符合 审查记录、合同、授权与控制措施

适用要求

准确 面对真实样本能否正确、完整、可追 分类型评测、难例、拒答和严重错误

稳定 时间、并发、输入和外部工具变化时 连续监控、故障测试、恢复和回归

能否持续运行

业务可信 用户能否理解、质疑、接管并对结果 采纳、修改、投诉、人工可达和业务

负责 结果

一张表通过,无法替代另外三张。合法取得的数据仍可能过时,准确率不错的模型也可能在高峰期频繁失败。

用途变化后四项都要重审

内部草拟升级为对客回答,只读查询升级为自动执行,普通资料扩展到敏感信息,都会改变风险与责任。

企业不能沿用最初的合规结论,也不能只重新跑一次模型分数。数据范围、权限、日志、人工接管和业务验收都需要更新。

防止责任在部门之间消失

业务把质量推给法务,技术把错误推给模型,项目团队把风险推给最终审核员工,企业仍然要面对客户与员工的后果。

更合理的做法是让每个角色对自己控制的环节负责:业务定义标准与结果,技术保证系统与监控,安全和法务审查相应风险,最终授权人承担明确决定。

合规是生产底线之一,却不是质量证书。可信也不等于系统永远不犯错,而是错误能够被发现、限制、质疑和恢复。

系统值得依赖,要靠它在真实约束下反复给出证据。

本问行动:下次有人说“已经通过审查”,直接追问它通过的是合规、准确、稳定还是业务可信。