第 41 章 · AI 学习
怎样判断AI应用是否真正有效
生成更快、调用更多、员工都登录,不能直接证明业务有效。要比较引入AI前后的总流程。
生成更快、调用更多、员工都登录,不能直接证明业务有效。要比较引入AI前后的总流程。
本章成果
完成一张效果账本和继续、调整或停止决定。
四类指标:效率(总耗时、等待);质量(正确、遗漏、返工);业务(收入、成本、交付、风险);采用(稳定使用和复用)。同时记录模型、接口、审核、培训和维护成本。
同口径比较完整流程
基线期和试点期使用相同任务范围、样本难度和计算口径。效率看从触发到交付的总时间,包括等待、复核与返工;质量看严重错误、遗漏和最终采用;成本包含工具、接入、维护、培训和人工;业务结果只记录能够说明因果链的变化。
不要只挑成功样本。按顺序记录全部任务,并单独查看正常、边界和异常样本。短期提速可能伴随长期维护,生成时间下降也可能被审核时间抵消。
做出明确决定
复盘会议最终只能选择继续扩大、保持当前范围、修改后重测或停止。每个决定写负责人和下次日期。停止一个净价值为负的应用,不代表 AI 转型失败,它证明团队建立了用证据配置资源的能力。
毕业验收时,使用者要独立运行,管理者能看到净变化,业务负责人能解释风险边界,维护者能处理版本和异常。四类角色都答得清楚,AI 才真正进入工作系统。
案例:周报生成从两小时降到20分钟,但负责人复核从10分钟增到50分钟,且异常解释仍需重做。真实净节省只有60分钟,质量是否改善还要看错漏。团队据此补数据检查,而非继续增加生成能力。
效果账本:基线|目标|样本|AI成本|人工成本|质量|异常|业务影响|决定。设对照期,连续复盘,避免只挑成功样本。能够用同口径数据证明净变化,并说明代价和边界,本章通过。
第四篇毕业实践
将第32—41章串成一个系统,交给真实使用者运行。结果可用、风险可控、责任清楚、效果可证,完成全书毕业。
从 0 到 1 学 AI · 完整版