名词解释 / 06

幻觉

第 72 / 127 个名词判断 AI 结果是否可靠

英文名称:Hallucination 常见别名:AI 幻觉、一本正经地胡说八道、编造内容 所属分类:判断 AI 结果是否可靠

一句话解释

幻觉指 AI 输出听起来流畅、实际却错误或并不存在的内容,比如编造不存在的标准条款、文献、数据或人名。它不是程序故障,也不代表 AI 故意骗人,而是大语言模型的基本工作方式决定的:它按语言规律预测最像样的下文,本身没有核查真假的环节,所以幻觉只能降低概率,无法彻底根除。

工作中什么时候会遇到

用办公助手写总结、回邮件、整理会议纪要、起草方案或查资料时都可能遇到,不是只有刁钻问题才会触发。几类情况尤其高发:让 AI 引用具体的标准号、条款号、法规名称或网址;问容易记不牢的细节,比如人名、日期、金额、型号、供应商;问模型训练截止之后才出现的新政策、公司内部制度或冷门行业数据。回答越是流畅笃定,越容易让人放松警惕。

对企业岗位来说后果很直接:一条不存在的售后政策被客服念给客户,一个被编造的标准条款写进质量整改报告,一个凭空出现的工艺参数进了作业指导书。AI 想不起准确答案时很少说“不知道”,而是按最像话的样子把空缺填上,这正是幻觉最需要防范的地方。

能解决什么问题

  • 把“AI 给的是草稿”变成默认预期。凡涉及标准、法规、金额、人名和时间的内容,主动回到原文核对,把复核变成固定动作。
  • 学会减少幻觉的问法。上传原始资料让 AI 基于资料作答,并要求它在找不到时明说“资料里没有”,能明显减少编造。
  • 分清必须人工确认的环节。把检查点设在报告定稿、单据生效、对客户承诺发出之前,而不是出错之后再补救。
  • 正确归因并识别夸大宣传。AI 出错时从输入资料和回答链路找原因,同时能看穿“彻底消灭幻觉”这类不切实际的产品承诺。

举个例子

质量工程师用 AI 起草一封发给客户的客诉整改报告,请它引用 ISO 9001 中关于纠正措施的要求。AI 很快给出条文和条款编号,读起来和真条款没什么两样。工程师没有回原文核对,直接发了出去。客户按编号去翻标准,发现该编号对应的内容完全不同,整套标准里也没有这句表述。

拦住这类错误只需要一道人工检查点:AI 提供的标准号、条款号、法规名称,一律回到官方原文核对后再引用;报告发出前,把“引文是否与原文一致”单独列一项过一遍。是否引用、如何引用由人确认,不由 AI 代劳。

怎么使用

普通员工不需要做任何配置。能做的是两件事:一是关键事实回到原始资料核对,二是尽量让 AI“有据可依”——把标准文档、报价单、会议纪要上传给它,让它基于这些资料作答,而不是凭记忆发挥。多数办公助手也支持要求 AI 只在给定资料范围内回答,找不到就说明找不到。

企业级场景下,压住幻觉主要是搭建 AI 智能体时的任务:给智能体接企业知识库或联网搜索,让它先检索再作答;对客服、质量、合规这类高风险问答,再叠一层核查环节,把关键陈述与来源对照之后才放行。具体用什么工具、怎么配置,以当前版本和官方说明为准。

使用时要注意什么

两个边界要拎清。其一,幻觉无法根除,只能降低和拦截。模型机制决定了它随时可能编出合理但不实的表述,宣称能“杜绝幻觉”的产品基本是夸大宣传;即便开了联网搜索,搜索工具也可能把 AI 编造的来源当真内容再喂回来,形成错误的自我强化,所以 AI 自己找到的佐证也要抽查。其二,别把它当成能修好的程序错误。换模型、改提示词只能减轻,真正管用的是在流程里留人核点和交叉验证。

对普通员工来说,不需要学会识别幻觉的全部规律,记住一条底线就够:涉及人、钱、标准、承诺的内容,AI 给的都是待核实的草稿。这个习惯本身,比任何检测工具都可靠。

容易混淆的词

  • 不实信息/谣言:泛指内容失真,可能出于疏忽或故意。幻觉特指 AI 因机制缺陷编造出的“合理错误”,两者成因和应对方式不同。
  • 胡乱输出:指 AI 答非所问、逻辑混乱,一听就不对劲。幻觉恰好相反,往往更流畅、更像人话,也因此更难被发现。
  • 不知道/答不上来:知识有截止时间或超出范围时,AI 会“不知道”;幻觉是它不知道还要补一段像样的。前者补资料就能解决,后者需要靠核实兜底。
  • 人为造假:人主动造假有主观意图和利害关系。幻觉没有骗人的动机,只是把最像话的下文补完,但这不改变“结果必须核实”的结论。

相关名词

大语言模型提示词检索增强生成(RAG)联网搜索AI 智能体、置信度

相关图片

幻觉相关图片

参考来源