第 36 章 · AI 学习
搭建并测试一个简单AI智能体
第 36 / 41 章完整版内容
搭建“制度问答助手”:只基于指定资料回答,引用来源,信息不足时追问,高风险问题转人工。
本章内容本章成果从一张配置卡开始
本章成果
搭建“制度问答助手”:只基于指定资料回答,引用来源,信息不足时追问,高风险问题转人工。
配置包括角色、目标、知识来源、允许工具、输出格式、禁止动作、转人工条件和日志。先准备测试集:10个正常问题、5个模糊问题、3个无答案问题、3个越权问题和若干错误输入。
从一张配置卡开始
名称:制度问答助手
服务对象:在职员工
知识范围:现行制度与已确认问答
必须行为:引用来源;不清楚时追问;无依据时拒答
禁止行为:编造制度;读取无权文件;替 HR 作权益决定
转人工:来源冲突、员工争议、例外审批、连续失败
日志:问题、引用、答案、转人工原因、版本
先在无工具状态测试回答边界,再连接只读知识库,最后才考虑表单或通知工具。每增加一个工具,都补充权限、正常测试和失败测试。用设计者之外的同事盲测,因为真实用户会使用模糊说法、错别字和缺少背景的问题。
问题修复后保留旧失败样本,形成回归集。若智能体遇到越权请求仍继续、找不到依据却给出确定答案,立即停止试用并收紧规则。

图:原文图注为“性能与可扩展性考量”。这里用于提醒功能正确之外还要检查稳定性;画面内容与授权待人工确认。
验收关注引用正确、拒答合理、追问有效、权限不越界、日志完整和人工接管。平台可使用支持知识库与工具调用的产品。测试不能只用设计者自己写的顺利问题。让同事盲测并修订一次,本章通过。
从 0 到 1 学 AI · 完整版