名词解释 / 07
蒸馏
英文名称：Knowledge Distillation（常直接写作 Distillation） 常见别名：知识蒸馏、模型蒸馏 所属分类：进一步了解 AI 原理
一句话解释
蒸馏是让一个能力更强但运行成本高、速度慢的大模型当“老师”，把自己回答问题的本领教给一个体积小得多的“学生”模型，让小模型更便宜、更快、更容易部署，同时能力尽量接近老师。它教的不仅是标准答案，还包括大模型判断时的倾向和把握程度；靠的是让大模型批量生成高质量示范回答，小模型反复学习这些示范，把“怎么答”学过去，而不是照抄老师的参数。
工作中什么时候会遇到
普通员工一般不会亲手操作蒸馏，但会在几类场合听到它。一是科技报道里：某某公司发布“蒸馏版”“轻量版”模型，或者某家 AI 公司被质疑用别家大模型生成的数据训练自己的模型，说的都是这个技术方向。二是公司内部项目里：“把资深客服、销售的经验蒸馏成 AI 助手”这类说法，有的确实是模型训练，多数只是借这个词形容“把经验提炼出来交给 AI”。
区分真假蒸馏有个简单办法：看有没有“训练出一个更小的新模型”。改变了模型本身才算蒸馏；只是把资料整理成知识库让 AI 查询，属于另一类技术，不是蒸馏。
能解决什么问题
- 降低 AI 的运行成本。大模型每次调用都要消耗大量算力，小模型在反复调用、企业自建部署时明显更省钱。
- 让 AI 在数据不能外传的环境里可用。客户资料、内部价格、财务数据等不允许发给外部服务的场景，蒸馏后的小模型可以装进公司内网服务器。
- 提高响应速度。模型变小后回答更快，适合客服应答、报价查询这类高频、求快的场景。
- 能在低配或离线环境运行。经过蒸馏和进一步压缩的模型，可以在普通办公电脑甚至离线设备上工作。
举个例子
一家做办公用品的企业客服部门，每天要回复大量重复问题：价格、发货时间、退换货政策。公司想让 AI 先帮客服起草回复，但客户信息和对客户的结算底价不能传到公司外的服务。AI 服务商给出的方案是：先用能力更强的云端大模型，对一批典型客户问题生成带处理思路的高质量示范回答；再用这批示范训练一个体积小得多的模型，也就是做一次蒸馏；最后把这个小模型部署在公司的内网服务器上。
之后客服在系统里输入客户问题，内网模型几秒内给出回复草稿，客服核对后发送。涉及折扣、赔偿这类非标准问题，系统会提示必须由有权限的客服或主管人工确认后才能发出。这就是蒸馏在职场里最常见的体现：用大模型“教”出的较小模型，在成本和保密要求的约束下继续干活。员工一般感知不到蒸馏这个过程，只看到助手“换了后台、还是能用”。
怎么使用
普通员工不需要会配置蒸馏，日常也基本感知不到。你用的企业 AI 产品（包括 WorkBuddy、千问办公这类）背后用的是哪个模型、是否做过蒸馏，由服务商决定，具体能力以当前版本和官方说明为准。真正需要留意的场景是：公司出于保密考虑把 AI 迁到内网，或换用了更省的模型，这时如果觉得回答不如原来全面，很可能是它跑的是更小、更省成本的模型，而不是产品坏了。
蒸馏属于模型层面的技术，通常由 AI 服务商或公司技术部门操作。如果业务部门想推动“把团队经验教给 AI”的项目，员工的主要职责是提供高质量、有代表性的业务资料，并参与结果验收，而不是自己去训练模型。
使用时要注意什么
蒸馏后的小模型只继承了老师的一部分能力，通用知识和最新信息往往明显偏弱。“小模型达到大模型八九成”的说法，通常只针对特定测试题或特定任务，不等于整体水平，宣传口径要打折听。把内网小模型和云端最新大模型的回答当成同样可靠，容易误事。
“蒸馏离职员工、老员工经验”这类说法里的“蒸馏”多数是管理比喻，指把聊天记录、文档和做事习惯整理后教给 AI，实际通常要搭配知识库和流程梳理，也不是把资料丢进去就能自动学会。用它来培训 AI 时，还涉及员工个人记录的使用授权问题。另外，无论模型大小，AI 都可能给出听起来合理但不准确的回答，涉及维修、采购、对外答复等有后果的决定时，要保留人工复核环节。
容易混淆的词
- 微调：在已有模型基础上，用某类业务数据继续训练，让它更擅长这项业务。蒸馏是小模型向大模型学能力，微调是让模型练专项，方向不同但经常被放在一起比较。
- 量化：通过降低模型计算的数字精度来压缩体积、加快速度，模型没有“跟谁学”。蒸馏决定能力来源，量化决定存储和计算方式，两者常叠加使用。
- 剪枝：把模型里影响不大的部分删掉来缩小体积，相当于“减重”；蒸馏是让一个小模型重新学会大模型的本事，相当于“拜师”。
- 知识库（RAG）：给模型外挂一批资料，回答时先检索相关内容再生成，模型本身没变。企业里“把老员工经验存进知识库”常被误说成蒸馏，实际多数属于这类方案。