分别评测智能体的结果与操作过程

这个场景能帮你做什么

AI 智能体最终回答正确，仍可能在过程中越权写字段、重复提交或跳过审批。WorkBuddy 可以整理测试样例与真实调用记录，分别检查结果和过程，帮助研发定位问题。

开始前需要准备什么

提供测试任务、期望结果、允许工具与操作范围、审批顺序、实际输入输出及调用日志。知识任务补引用原文和访问权限；明确环境、模型、工具与资料版本。

具体怎么做

第一步：把判定标准分成两层

结果层看答案、产物与业务目标；过程层看权限、字段、顺序、重复动作与约束。不能把严重违规与普通错误平均成一个好看的总分。

第二步：逐例还原真实轨迹

按日志列工具输入输出、状态变化、耗时和异常，缺日志标未知。不要要求模型编写不可观察的内部思维来当证据。

第三步：检查引用与异常

引用能打开与引用内容支持结论分别判断。覆盖资料新增、更新、删除、无权限，以及工具超时、重复请求和部分成功，预期由业务批准。

第四步：定位问题环节

区分资料未检出、上下文组织错误、答案生成错误和工具执行/权限问题，形成复现与修订任务。模型自评只可辅助，不替代业务判定。

可以直接交给 WorkBuddy 的完整要求

依据附件任务集、业务预期和实际日志逐例评测，结果正确性与操作合规性分栏。
检查允许工具/字段/审批顺序/重复操作，严重违反单列。引用访问与内容支持分别检查。
只使用可观察日志，缺记录标未知。输出逐例依据、失败归类、复现条件和修订建议，不编轨迹、不仅给综合分。

完成后会得到什么

一张逐例结果与过程对照表、违规清单和可复现问题集，能支持后续迭代。

结果应该怎么检查

人工复核高风险样例与分歧样例，回查真实工具记录和引用。检查“最终正确”是否掩盖中途违规，缺日志是否被算通过。

遇到这些情况怎么处理

日志不全时先补记录能力。工具实际结果未知时独立核查。相同样例结果波动时记录版本和条件，不挑一次最好结果汇报。

哪些必须人工决定

业务、测试与研发确认标准、修复与上线条件。AI 整理评测，不能自行接受越权风险或批准发布。