第 98 问

制造业 AI 什么时候只能提供建议,什么时候可以自动控制设备?

第 98 / 100 问客服、医疗、制造与金融场景

AI 能够预测参数、识别异常和优化能耗,并不代表它可以直接接管设备。建议错误时,人还有机会阻止;控制错误时,后果可能立即发生。

设备控制权要按照监测、建议、受限调节和长流程控制四级逐步开放。每升一级,都要增加现场证据、独立安全措施和人工接管能力。

四级权限对应四种边界

级别 AI 能够做什么 必须具备的控制

监测提示 识别状态与异常,不改变设备 数据校验、告警和人工判断

建议 提出参数或操作建议 操作员确认、依据与范围展示

受限调节 在白名单参数和工况内自动调整 硬性上下限、独立联锁、实时状态和

回退

长流程控制 连续协调多个步骤或设备 全链路验证、分区隔离、监控与应急

接管

同一系统可以对低风险参数开放受限调节,对关键设备长期停在建议级。

安全边界不能交给模型自己遵守

传感器与数据质量要稳定,设备状态能够实时确认,参数上下限由工程规则强制。关键安全联锁独立于模型运行,AI 无法通过生成内容绕过。

异常发生时,系统能切回原控制策略、受限模式或人工操作。日志要能够还原 AI 建议、批准、执行与设备真实反馈。

真实工况比平均分更重要

验证需要覆盖负载变化、原料差异、设备老化、环境变化、传感器故障、网络中断和组合异常。平均工况表现好,无法证明极端情况下安全。

节能、产量、质量、设备磨损和安全要一起观察。任何经营指标都不能覆盖联锁与红线。

人工接管也要在现场演练

操作员需要知道系统当前做什么、为什么做、怎样暂停,并在限定时间内接手。长期自动运行后,仍要通过训练与演练保持关键手工能力。

具体工控、设备安全和行业要求由企业工程、安全及法律专业人员结合现场确认。

制造业 AI 获得控制权的过程,是用现场证据逐级交换权限。

本问行动:先给现有方案标出四级权限,再现场测试独立联锁、停止和人工回退。