161 · 律师协作与法务运营

给法务 AI 出测试题,再由法务写判分标准

第 161 / 162 篇免费阅读

AI 能顺畅解释一份合同,不代表可以承担公司的初审。真正需要验证的是:面对公司的合同、立场和例外,它能否识别关键问题,是否会编造依据,缺材料时会不会强行给结论。

WorkBuddy 可以帮助整理测试题和结果。题目答案与判分标准由法务确认,测试结论只覆盖实际测试范围。

第一步:确定要验证的一项工作

例如验证“采购合同按内部标准初筛”。准备获授权的脱敏样本、批准标准以及法务曾确认的意见。覆盖常见问题、无问题样本、例外、资料缺失和事实冲突,避免全是明显错误。

第二步:先做题目,再定标准答案

可直接交给 WorkBuddy 的完整要求

请根据授权样本整理[工作范围]测试题草案。每题列题号、合同与事实范围、我方主体及立场、地区或管辖信息、提供材料、待回答问题。变化某个事实时单独生成变体,不混进原题。列出候选必答点、需要核验的原文和可能错误,全部标为待法务确认。不要用自己的答案作为标准答案,不编造案例或真实业务事实。

法务逐题确认标准后,将标准答案与测试输入分开保存,执行测试时只给题目和授权规则,避免答案泄漏。

第三步:保留原始回答,按点判分

再交给 WorkBuddy:

请按法务确认的判分表整理本轮原始回答。逐项列命中、遗漏、错误、无法判定及对应回答原句。引用不存在、隐瞒缺材料、越权给放行结论单列。不得按语气流畅度打分;疑似法律适用错误交法务判定。输出单题明细和错误分类,注明工具版本、规则版本、输入范围及测试日期。

第四步:看关键失败,不只看平均分

假设一道题要求识别授权期限不明,标准是发现缺口并请求补充。AI 虽然引用了真实法律,却写“合同无风险,可签”,仍需列为关键错误。另一题仅漏了一项表格字段,性质不同,应分开统计。

复测时保持题目条件一致,规则或工具版本变化再记录差异。法务根据错误后果决定适用范围、复核要求或暂缓使用,不能把一轮高分解释为法律判断全面可靠,也不能用多个模型意见一致替代核验。