名词解释 / 07
Pretraining（预训练）
英文名称：Pretraining 常见别名：大规模预训练、Pre-training 所属分类：进一步了解 AI 原理
一句话解释
预训练是 AI 大模型在“出厂”前集中“读书”的阶段：AI 公司把书籍、文章、网页等海量文字资料喂给模型，让它反复练习根据上文预测下一个词，在这个过程中逐渐掌握语言表达、基本常识和通用知识。你在 WorkBuddy、千问办公里使用 AI 时，感觉它“会说话、听得懂、懂得多”，靠的主要就是预训练打下的底子。预训练由模型厂商完成，普通员工用到的是它的结果，不是这个过程本身。
工作中什么时候会遇到
日常工作中几乎不会直接碰到“预训练”这个词，但你每天都在使用它的成果。AI 能听懂口语化的提问、把零散的会议记录整理成待办清单、起草一封通顺的对供应商邮件，都是因为背后的大模型在预训练阶段“读”过足够多的文字，掌握了表达方式和通用常识。可以说，你感受到的“这个 AI 会不会说话、懂得多不多”，大体在这一阶段定了型，不同模型的实际表现以当前版本和官方说明为准。
另一种遇到它的场景是公司讨论 AI 选型或供应商做介绍时。供应商宣传“我们的模型经过大规模预训练、读了几万亿字”，这里的“预训练”指的就是厂商给模型打基础的环节。而同事随口说的“把我们这些年的客户数据拿去训练一个专用 AI”，在技术上通常不是预训练，而是规模小得多的微调，或者把资料接进知识库，两者不要混为一谈。
能解决什么问题
- 让 AI 具备基本的语言理解和表达能力，能听懂口语化提问、组织出通顺的答复。
- 让 AI 拥有跨行业的通用常识，熟悉采购、销售、客服、生产、行政等各类企业场景里的常见说法和写法。
- 省掉“从零教 AI 说话”的巨额成本：预训练完成后，模型已经“会读写”，企业不必自己积累海量数据从头训练，直接选用现成模型即可。
- 为后续定制打基础：模型必须先有通用能力，企业才能通过接入知识库、微调等方式，把它适配到本行业、本公司。
- 大致决定一款模型的水平底子：不同模型表达好不好、常识全不全，与各自预训练阶段的投入直接相关。但预训练不是全部，后续训练和产品设计同样影响实际表现，具体以当前版本和官方说明为准。
举个例子
某公司想用 AI 智能体回答同事关于采购流程的咨询，由采购专员牵头。他把最新版《采购管理制度》和供应商准入流程整理好，接入所用 AI 产品的知识库（是否支持该功能，以当前版本和官方说明为准），然后提问：“买一台设备走预付款，流程上要过几道审批？”AI 能看懂这句口语提问、把答复组织得清楚有条理，靠的是预训练阶段学会的语言能力；而它能答出“先提交采购申请、再走合同审批、最后做付款申请”，靠的是刚接入的公司资料，不是预训练阶段“本来就知道”。人工确认点：正式开放给同事前，拿几类资料没写到的边界情况试问，比如加急采购、金额超过审批权限怎么办，确认 AI 不会用通用常识编出一套公司并不存在的流程。
怎么使用
普通员工不需要、也无法直接参与预训练，正常在 AI 工具界面里提问即可，没有任何需要你额外操作的配置项。它由模型厂商完成：你用的 WorkBuddy、千问办公背后是哪家公司的模型，就由哪家的团队负责“读书”这个环节。
偏技术的场景里，预训练同样由模型厂商或企业内部算法团队负责。企业落地自己的 AI 时，几乎都是拿厂商已经预训练好的模型做适配，比如把内部资料整理成知识库，让智能体回答时先查这些资料，或用少量业务数据做微调，而不是重新预训练。重新预训练的算力、数据和资金门槛极高，普通企业不会涉及。
使用时要注意什么
第一，预训练学到的东西有截止时间，不是实时更新。模型记住的是训练完成前的内容，问它最新的政策或刚发生的事，可能不准或答不上来。第二，预训练给的是通用知识，天然不含你公司的内部信息。想让智能体懂自家制度、产品和客户，要靠上传资料、接入知识库或微调，不能默认它“本来就知道”。第三，别被“读了几万亿字”之类的宣传带偏：会读书与会办事是两回事，预训练规模大不代表每件事都答得对，模型表现还取决于后续训练和你的使用方式，具体以当前版本和官方说明为准。
第四，使用联网的办公 AI 时，避免把未脱敏的客户名单、内部报价等敏感信息直接贴进去。这类提问的处理发生在厂商服务端，数据如何保存和使用，以所用产品的官方说明为准。
容易混淆的词
- 微调（Fine-tuning）：预训练是打底子的“通读海量通用书”，微调是在此基础上用少量、有针对性的数据“补专业课”。员工说的“拿公司数据训练 AI”，多数时候指微调或接知识库，不是预训练。
- 推理（Inference）：预训练是“上学读书”，推理是模型被提问后给出答案的使用环节。你按下回车那一刻发生的是推理，不是预训练。
- 检索增强生成（RAG）：让智能体回答前先查你提供的资料库，现查现答，不改动模型本身。企业想让 AI 答对自家细节常用这种方式；预训练则是把知识预先“背”在模型里，而且没法随时更新。
- 训练（泛指）：日常说的“喂数据让 AI 学习”往往把预训练和微调混在一起说。听到时先分清，是模型厂商在打基础，还是企业在做小范围适配。