第 07 章 · AI 学习

AI说得像真的,就一定是真的吗

第 7 / 41 章约 12 分钟免费阅读

你让AI研究一家供应商。十分钟后,它给出一份完整简报:公司成立时间、主要客户、市场份额、最近融资、创始人经历和产品评价一应俱全,还附了几条看起来很正规的来源。

你准备转发给负责人,却在打开链接时发现:一条来源根本不存在,一条报道说的是名称相似的另一家公司,一项市场份额找不到原始统计,所谓“主要客户”只是供应商自己的宣传。

AI最危险的错误,常常不是语无伦次,而是把错误内容说得非常顺畅。

因此,完成生成并不等于可以使用。交付前必须经过一次独立核验:

事实从哪里来?数字口径是什么?时间是否有效?推理是否成立?是否遗漏反方信息?材料和结果有没有版权、隐私、商业秘密或专业责任问题?最终由谁确认?

一、本章学完,你能做到什么

学完这一章,你应该能够:

  1. 识别AI结果中的事实、解释、建议和未知项;
  2. 把关键事实追溯到原始来源;
  3. 检查数字、时间、逻辑和遗漏;
  4. 识别版权、隐私、商业秘密和外部发送风险;
  5. 根据任务影响设置不同核验强度;
  6. 用“可用/待确认/不能使用”标记结果。

本章最终成果是一份AI结果核验清单,以及一份经过核验的可交付版本。

二、什么是AI幻觉

AI幻觉通常指:AI生成的内容语言通顺、形式合理,却包含错误事实、编造细节、虚假来源或与材料不一致的结论。

它可能表现为:

  • 编出不存在的政策、论文、新闻或链接;
  • 把相似的人名、公司名和产品名混在一起;
  • 为材料中没有的数字补上精确数值;
  • 把“可能、建议、讨论”写成“已经、确认、决定”;
  • 给出看似合理但无法运行的公式或代码;
  • 忽略原文中的例外和限制;
  • 使用已经过期的信息回答当前问题。

AI没有必要“故意撒谎”,也能产生上述错误。它的生成目标与事实核验不是同一件事。

减少幻觉可以靠清楚任务、可靠材料、来源要求和工具能力,但不能保证完全消失。正确目标不是幻想零错误,而是让错误在造成影响之前更容易被发现、追溯和拦截。

大模型幻觉风险的原文配图

图:原文在解释“大模型先生成语言,结果可能包含错误事实”之后的配图。这里对应幻觉的基本风险;画面内容与授权待人工确认。

三、先给结果中的句子分类

核验前,把重要内容分成四类:

1. 事实

可以通过原始材料或权威来源确认的陈述,例如公司注册时间、合同金额、会议日期、产品价格。

2. 解释

对事实的原因、关系和意义作出的判断,例如“销售下降主要因为客户需求变化”。解释需要证据链,也可能存在多个合理版本。

3. 建议

基于事实和目标提出的行动,例如“建议先在华东区域试点”。建议需要说明依据、风险和谁来决定。

4. 未知

当前材料无法确认的内容。正确处理不是补全,而是标记“待确认”、列出需要的证据和确认人。

AI最常见的问题之一,就是把后三类伪装成第一类。先分类,核验对象才清楚。

四、事实核验:追到原始来源

1. 不要只看AI给出的摘要

点击来源,确认页面真实存在,并检查原文是否真的支持该陈述。

一篇媒体转述可能引用另一份报告。对关键数字,尽量继续追到报告、公告、法规原文、公司披露或原始数据。

2. 检查来源与对象是否对应

确认:

  • 公司名称是否完全一致;
  • 人物身份和任职时间是否对应;
  • 产品版本和地区是否相同;
  • 政策是否适用于你的行业和地区;
  • 文章说的是事实、观点还是宣传。

3. 记录证据等级

可以使用简单分级:

  • A:原始制度、合同、数据、官方公告或责任人确认;
  • B:可信媒体、专业机构或有明确方法的研究;
  • C:企业宣传、二手转述、个人经验或无法充分核实的内容。

C级来源不是一律不能用,但不能承担高影响结论的唯一证据。

4. 搜索反方和冲突证据

如果所有来源都支持同一结论,问一句:是否存在不同口径、失败案例、限制条件或更新时间更近的材料?

核验不是为了证明AI是对的,而是为了判断结果在哪些条件下成立。

五、数字核验:精确数字最容易制造可信感

看到比例、金额、增长率、排名和时间节省,至少检查:

  • 数字来自哪里;
  • 统计对象是谁;
  • 时间范围是什么;
  • 样本多大;
  • 指标怎样定义;
  • 是实际结果、预测还是宣传;
  • 能否用原始数据复算;
  • 是否把相关性写成因果关系。

例如“使用AI后效率提升50%”几乎没有独立意义。需要继续问:哪项任务、从什么基线到什么结果、由谁测量、是否包含检查和返工时间、质量是否变化。

无法追溯的精确数字宁可删除,也不要用“据统计”模糊带过。

六、时间核验:曾经正确,不代表现在可用

以下信息特别容易过期:

  • 产品功能、入口、价格和使用限制;
  • 公司人员、客户和经营状态;
  • 政策、法规和行业要求;
  • 市场规模、排名和竞争格局;
  • 联系方式和操作流程。

检查来源发布时间、数据对应时间和是否有更新版本。不要把三年前的正确制度与今天的工作混用。

七、逻辑核验:事实都对,结论也可能不成立

一份报告中的每个数字都可能正确,但推理仍然有问题。

常见逻辑错误包括:

  • 两件事同时发生,就认为一件导致另一件;
  • 用少数案例代表所有情况;
  • 只保留支持结论的证据;
  • 把没有证据证明的内容当成不存在;
  • 从“可以使用”跳到“应该全面推广”;
  • 从“平均值提高”跳到“每个人都提高”;
  • 忽略实施成本、质量变化和风险。

可以让AI提供反方观点和替代解释,但最终要由理解业务的人判断哪种解释更符合证据。

八、遗漏核验:结果没写错,也可能因为少写而危险

例如AI生成一份供应商比较,价格和功能都正确,却没有写:

  • 数据如何处理;
  • 合同退出条件;
  • 服务不可用时怎么办;
  • 是否支持权限和日志;
  • 迁移成本;
  • 关键限制和例外。

遗漏经常来自任务和材料的盲区。检查时问:

  • 谁会受到这个结果影响?
  • 如果建议执行失败,最可能失败在哪里?
  • 是否只比较了优点,没有比较限制?
  • 是否遗漏异常、反方和停止条件?
  • 是否需要专业人员参与?

九、版权与授权核验

AI生成文字、图片、代码、音乐或视频,不自动意味着可以无条件商用。

至少检查:

  • 输入材料是否有权提供给AI;
  • 是否要求AI模仿在世作者、品牌或明确受保护的作品;
  • 输出是否与现有内容高度相似;
  • 图片中的字体、人物、商标和素材是否有授权;
  • 音色、音乐和视频素材是否允许当前用途;
  • 产品条款是否允许相应使用方式;
  • 客户合同是否要求披露、授权证明或责任约定。

版权和合同判断可能因地区、使用方式和具体事实而不同。本书提供的是风险检查,不替代法律意见。商业发布前需要由有权限、具备专业能力的人复核。

十、隐私和商业秘密核验

核验不只发生在输出端。输入时就可能产生风险。

输入前

  • 是否真的需要全部数据;
  • 能否删除姓名、电话、身份证号和客户标识;
  • 能否用区间或代号替代精确数据;
  • 公司是否批准该工具和账号;
  • 是否存在合同、保密或跨境限制;
  • 密钥、密码和账号信息是否被排除。

AI与数据安全关系的原文配图

图:原文在说明“数据是AI输入,数据安全与AI应用相互影响”之后的配图。这里用于强调核验从输入端开始;画面内容与授权待人工确认。

输出后

  • AI是否把被脱敏的信息重新推断出来;
  • 是否意外带出其他对话或材料内容;
  • 是否出现不应对外公开的内部判断;
  • 文件元数据、截图和链接是否泄露身份或路径;
  • 接收人权限是否合适。

不要把“删除对话”“使用代号”或一句“请保密”当成绝对安全保证。真正的保护来自批准的工具、最小必要、访问权限、脱敏、审计和人工责任。

豆包记忆与数据设置原文截图一

豆包记忆与数据设置原文截图二

豆包记忆与数据设置原文截图三

图组:原文在介绍豆包“记忆功能”和“帮助模型改进效果”的设置位置后连续使用的产品截图。这里只作为检查产品数据选项的实例;实际入口、画面内容和授权待人工确认。

十一、根据风险决定核验强度

低风险

例如改写个人草稿、解释公开概念。检查意思、表达和明显事实即可。

中风险

例如内部周报、客户研究、业务分析、培训材料。需要核验关键事实、数字、来源、遗漏和资料权限,并由任务负责人确认。

高风险

例如合同意见、财务决策、招聘与绩效、医疗健康、安全生产、生产环境代码、对外承诺和自动执行。

必须有专业复核、明确权限、过程记录、测试或双人审批;必要时禁止AI直接行动。

风险取决于影响和可撤回性,不只取决于内容类型。一句自动发送给全部客户的错误通知,可能比一份未公开的长报告风险更高。

十二、完整案例:核验供应商背景简报

以下为教学示例,供应商名称和内容均为虚构。

AI生成了五条结论:

  1. 星河软件成立于2018年;
  2. 已服务超过500家制造企业;
  3. 2025年获得某机构B轮融资;
  4. 产品在国内同类市场排名前三;
  5. 适合成为公司的长期核心供应商。

第一步:区分类型

  • 1—4是事实性陈述;
  • 5是建议或判断,不是事实。

第二步:追溯来源

  • 成立时间:企业登记信息显示2019年,AI错误;
  • 500家客户:来自供应商官网宣传,未说明“客户”定义,标记待确认;
  • B轮融资:媒体报道说的是名称相近的“星河科技”,对象错误,删除;
  • 排名前三:没有找到榜单原文和统计方法,不能使用;
  • 长期核心供应商:缺少安全、交付、价格、合同和试用信息,无法得出。

第三步:形成核验表

原陈述 状态 证据 处理
成立于2018年 不能使用 登记信息为2019年 改为2019年,并保留查询日期
服务500家制造企业 待确认 仅有官网宣传 改为“官网称”,要求提供客户口径和案例证明
获得B轮融资 不能使用 来源对象错误 删除
市场排名前三 不能使用 无榜单原文 删除
适合成为长期核心供应商 待确认 缺少关键评估 改为下一步尽调与试用建议

第四步:形成可用版本

星河软件登记成立时间为2019年。其官网称已服务超过500家制造企业,但当前未取得客户统计口径和可核验名单。原简报中的融资与市场排名信息无法得到有效来源支持,已删除。现有公开资料不足以判断其是否适合作为长期核心供应商,建议下一步核验制造业客户案例、数据安全、交付能力、价格、退出条件,并通过小范围试用验证。

核验没有让报告变得更“厉害”,却让使用者清楚知道什么已确认、什么未确认、下一步需要什么证据。

十三、联网搜索和多产品交叉检查怎样使用

联网搜索可以帮助找到来源,多产品交叉检查可以帮助发现差异,但二者都不是最终证据。

正确顺序是:

  1. 让AI列出需要核验的陈述;
  2. 搜索原始来源;
  3. 打开并阅读与结论直接有关的原文;
  4. 记录来源、日期和支持位置;
  5. 搜索冲突或反方证据;
  6. 必要时用另一个产品寻找遗漏;
  7. 由人根据来源决定保留、改写或删除。

如果两个AI给出相同答案,但都引用同一个错误二手来源,答案仍然不可靠。

十四、可复制的AI结果核验清单

【AI结果核验清单】

任务:
使用对象:
影响范围:
最终确认人:

【事实与来源】
□ 关键事实能够追溯到原始来源
□ 来源真实存在,且原文支持该陈述
□ 人名、公司名、产品名和适用对象一致
□ 企业宣传、二手转述与独立证据已经区分

【数字与时间】
□ 数字的口径、样本、时间和计算方式清楚
□ 重要数字能够回到原始数据或报告
□ 产品、政策、价格和人员信息仍在有效时间内

【逻辑与遗漏】
□ 事实、解释和建议已经分开
□ 没有把相关性写成因果
□ 检查了反方证据、限制、异常和停止条件
□ 不确定内容标记“待确认”

【版权与资料】
□ 输入材料有权使用
□ 文字、图片、字体、音频、代码等完成商用检查
□ 未机械模仿或复制受限制内容

【隐私与安全】
□ 只使用完成任务所需的最少数据
□ 个人信息、客户信息和商业秘密已按要求处理
□ 账号、权限、外发和日志符合公司规则
□ 密钥、密码和敏感路径未出现在结果中

【责任与行动】
□ 高风险事项已经交给专业人员复核
□ 外部发送、发布、付款、审批或系统修改前有人确认
□ 出错时有停止和人工接管方式

【最终状态】
可用:
待确认:
不能使用:

十五、常见错误

错误一:要求AI“不要幻觉”就放心使用

提醒可以降低部分错误,不能替代来源核验。

错误二:有链接就算有证据

链接可能不存在、对象错误,或原文根本不支持结论。

错误三:两个AI答案相同就是真的

多个产品可能使用相同公开材料,也可能重复同一种错误。

错误四:只查错写的内容,不查漏写的风险

遗漏权限、例外、退出条件和反方证据,同样可能让结论失真。

错误五:只检查输出,不检查输入

未经授权上传材料,本身就可能造成风险。

错误六:把所有任务都用同样强度核验

低风险任务可以轻量检查;高影响、不可逆任务必须提高复核、权限和审批等级。

十六、练习:找出一个无法验证的陈述

选择一份AI生成的真实工作内容:

  1. 标出其中至少五条事实性陈述;
  2. 为其中三条找到原始来源;
  3. 记录一条来源只部分支持的陈述;
  4. 找出一条无法验证或对象错误的陈述;
  5. 检查一项重要遗漏;
  6. 将结果标记为“可用/待确认/不能使用”;
  7. 由有权限的人确认最终版本。

十七、怎样判断自己真的学会了

完成下面六项,就算通过本章:

  1. 能解释为什么语言流畅不等于事实正确;
  2. 能区分事实、解释、建议和未知;
  3. 至少三项关键事实已经追溯到原始来源;
  4. 数字、时间、逻辑和遗漏分别完成检查;
  5. 版权、隐私、商业秘密和专业责任得到处理;
  6. 最终结果明确标出可用、待确认和不能使用的内容,以及最终确认人。

本章小结

核验不是在AI结果后面加一句“仅供参考”,而是把可信度落实到证据和责任上:

分清陈述类型 → 追到原始来源 → 检查数字和时间 → 检查逻辑与遗漏 → 处理版权和隐私 → 按风险设置人工确认

到这里,你已经完成了第一篇的全部基础动作。下一步不是继续学习更多技巧,而是把七章方法放进同一个真实任务中,完成一次可以保留、复盘和展示的人机协作。