核对 AI 项目验收的版本样本与效果边界

能帮做什么

AI 问答项目能登录上传，演示也很顺，但客户测试时发现旧知识和无依据回答。普通功能验收表解释不了争议。WorkBuddy 可以把模型、知识库、样本、评分和实际输出对应起来，帮助联审。

准备什么

提供已确认的范围、验收条款、技术方案、模型与知识库版本、提示词配置、测试集和预期口径、评分方法、运行环境、双方配合义务。已有结果时补原始问答、引用、日志、人工评分及整改记录。涉敏样本须先获准处理。

具体怎么做

第一步：固定这次测的是哪个版本

列模型、提示词、知识库、检索配置、工具权限、样本和环境的版本及确认依据。文件最新日期不能代双方确认。变更后的测试另列，避免新旧结果混算。

第二步：把效果词变成双方已确认的评价对象

将“准确”“引用可靠”“能完成任务”拆到样本、预期行为、判分、有效数量和通过条件。缺少口径就列待确认，不让模型自己设一个百分比。保留无依据时应拒答、异常应如何停止等情况。

第三步：记录问题并接上复验和付款

逐样本对应原输出、人工评判、版本和异常。资料过期、模型回答错误、环境阻塞、新需求可能有不同处理，但先保留现象和原因证据。整改后关联复验，核对初验、终验和付款约定。

可直接交给 WorkBuddy 的完整要求

请整理【AI 项目、本轮阶段】的验收核对资料，依据【确认范围、版本、样本、评分和实际结果】。先生成基线卡，列模型、提示词、知识库、检索与工具配置、环境和样本的版本及确认记录；缺失或冲突单列。

按功能、输出质量、检索引用、工作流权限和异常处理对应指标、原始结果、人工评分、适用样本与统计方法。口径未确认不得补阈值；无完整数据不得生成准确率。保留失败、拒答和未完成样本，不只选最佳演示。

将问题现象、原因证据、待核分类及确认人分列，不自行判为缺陷、优化、客户责任或新增范围。关联整改复验、阶段确认和付款条件，指出版本变化后哪些旧结果须重新核查。输出基线卡、结果对照、争议补测和付款条件缺口；不代为批准验收或付款。

得到什么、怎么检查

例如，样本答案基于旧制度，需要业务确认知识基线；引用文档正确但定位错误，需要技术分析；工具未执行，却生成完成描述，需要单独记录。技术核日志，业务核预期答案，法务核合同范围，财务核条件。

异常及人工决定

没有约定评分、测试环境不可复现或双方判断分歧时，形成具体问题表。是否补测、修改范围、通过验收或支付款项由相关负责人批准，工具不因报告完整就认定项目完成。