用 WorkBuddy 知识库回答质量测试和错误修正

一、这个场景能帮你做什么

用真实问题、边界问题和错误案例测试财务知识库，定位检索、引用、版本和回答逻辑错误并持续修正。

WorkBuddy 可以先盘点资料、按照已经确认的规则整理和检查，再把正常结果、差异和待确认问题分别列出。先用少量真实资料确认规则，每个数字和判断保留来源，再处理全部数据。

二、开始前需要准备什么

1. 已建成的财务知识库

说明资料所属公司、期间、来源和负责人；缺失或尚未确认的部分提前标出。

2. 高频真实问题和标准答案

提供当前有效版本，并标出生效日期、适用公司和例外情况。规则尚未确认的部分单独列出，不要让 WorkBuddy 自行决定。

3. 边界、冲突和无答案测试题

说明资料所属公司、期间、来源和负责人；缺失或尚未确认的部分提前标出。

4. 历史错误回答和人工反馈

选择口径一致、期间完整的数据，并说明组织、产品、价格或核算规则是否发生变化。

5. 制度来源及版本信息

提供当前有效版本，并标出生效日期、适用公司和例外情况。规则尚未确认的部分单独列出，不要让 WorkBuddy 自行决定。

所有资料使用副本处理。开始前还要明确处理期间、数据截止时间、金额和日期格式、异常判断标准、输出模板及最终复核人。

三、具体怎么做

第一步：建立正向、反向和边界测试集

说明“建立正向、反向和边界测试集”要使用的资料、企业规则和输出要求，先返回预览及待确认问题，经财务人员确认后再继续。

第二步：检查检索结果、制度引用和适用范围

提供企业现行制度、检查标准和例外情况，让 WorkBuddy 写明触发了哪项规则、涉及哪笔记录、需要补充什么。异常只表示需要复核。

第三步：记录遗漏、过期、冲突和无依据回答

说明“记录遗漏、过期、冲突和无依据回答”要使用的资料、企业规则和输出要求，先返回预览及待确认问题，经财务人员确认后再继续。

第四步：区分知识缺失、切分问题和回答逻辑问题

把分类或分级标准写成明确条件，再逐条给出建议结果和判断依据。同时符合多个类别、资料不足或规则冲突时标记为待确认。

第五步：修正后回归测试并记录版本

说明“修正后回归测试并记录版本”要使用的资料、企业规则和输出要求，先返回预览及待确认问题，经财务人员确认后再继续。

四、可以直接交给 WorkBuddy 的要求

你是企业财务工作辅助人员。请完成“知识库回答质量测试和错误修正”。

输入材料：
1. 已建成的财务知识库
2. 高频真实问题和标准答案
3. 边界、冲突和无答案测试题
4. 历史错误回答和人工反馈
5. 制度来源及版本信息

执行要求：
1. 建立正向、反向和边界测试集
2. 检查检索结果、制度引用和适用范围
3. 记录遗漏、过期、冲突和无依据回答
4. 区分知识缺失、切分问题和回答逻辑问题
5. 修正后回归测试并记录版本

请输出：
1. 知识库测试报告
2. 错误案例和原因分类
3. 待补充或待更新知识清单
4. 修正记录及回归结果

统一要求：
- 每个结论必须标明使用的数据、文件或制度依据。
- 区分已确认事实、分析判断和待确认问题。
- 缺少依据时列入待补材料清单，不得自行猜测。
- 不修改原始文件，不执行未经授权的付款、申报、审批、冻结或系统提交。
- 在正式输出前检查金额、期间、主体和数据数量是否一致。

第一次运行时，在最后补充：“本轮只处理少量样本并返回预览，等我确认后再处理全部资料。”

五、完成后会得到什么

• 知识库测试报告
• 错误案例和原因分类
• 待补充或待更新知识清单
• 修正记录及回归结果
• 正确率是否按问题类型统计
• 无答案问题是否安全拒答
• 引用和版本是否可以查回原始资料
• 修正是否引入新的错误

正式结果还应保留资料来源、处理状态、异常原因和复核意见，避免只得到无法回查的结论。

六、结果应该怎么检查

• 核对输入与输出记录数量，所有差额和失败项都有说明。
• 抽查关键结果能回到原始文件、单据编号或原表行号。
• 核对输入和输出记录数、金额合计、异常数量及处理失败项目。
• 对高金额、边界日期、重复候选和无法对应的记录回到原始资料检查。
• 涉及正式操作或对外提交的项目逐项复核。

七、遇到这些情况怎么处理

制度版本、适用主体或条款效力不明确时，应先交由制度责任人确认，不能直接生成正式解释

补充当前有效制度、适用范围和例外审批。WorkBuddy 只能按照已经确认的规则检查，不能替企业制定规则。

缺少原始依据的项目应进入待确认清单，不能用推测补齐

把相关记录单独列出，补充原始资料或请责任人确认。无法确认前保留原值，不让 WorkBuddy 猜测。

首次使用应选择一组真实问题或案例测试引用、边界和拒答表现，确认稳定后再扩大使用范围

把相关记录单独列出，补充原始资料或请责任人确认。无法确认前保留原值，不让 WorkBuddy 猜测。

八、哪些可以交给 WorkBuddy，哪些必须人工决定

• 制度和知识库内容必须以正式生效版本为准。
• 智能体生成的制度解释、通知和培训内容需要制度责任人审核。
• 无明确条款或资料冲突时，应当转人工处理，不能根据常识补写企业规则。

WorkBuddy 可以承担资料整理、重复核对、计算草稿和问题汇总。涉及审批、入账、开票、付款、报税、过账、冻结、审计定性或对外提交时，只生成预览、建议或待办，最终决定和正式操作由有权限的人员完成。