整理端侧产品的设备与场景测试矩阵

这个场景能帮你做什么

端侧 AI 产品在旗舰机上运行正常，不证明低端设备、弱网或温升后仍然可用。WorkBuddy 可以整理设备、系统、模型和使用场景的测试矩阵，标出缺测与风险。

开始前需要准备什么

提供支持设备/芯片/系统、模型与推理引擎版本、目标功能、阈值及真机测试记录。功耗、温度、内存等结果由实际工具采集，注明测试时长和环境。

具体怎么做

第一步：确定必须支持的组合

按设备档位、芯片、系统和模型版本列支持范围，明确测试重点。组合过多时由负责人按风险选择代表，不能让 AI 随意删除困难设备。

第二步：统一指标口径

先按实际功能选指标。视觉或视频任务可记录首帧延迟、持续运行帧率；端侧问答可记录首响应时间、后续输出速度和任务完成情况。再按适用情况记录冷启动、内存峰值、资源占用、能耗与温度，说明起止点、采样方法和条件。不同功能不强套同一组指标，平均性能不能替代持续运行退化。

第三步：补现实场景

覆盖离线、弱网、低电量、温升降频、后台恢复与本地失败后的降级。每格列输入、前置、预期、测量方法和阈值来源。

第四步：汇总已测与缺测

把真实记录填入对应组合，未知保留空白。性能异常同时检查设备状态、系统与模型版本，不直接归因为模型不够好。

可以直接交给 WorkBuddy 的完整要求

依据附件支持范围与真机记录建立设备×系统×模型版本×场景测试矩阵。
先按目标功能选择性能指标：视觉/视频使用首帧与帧率等，问答等功能使用首响应、输出速度或任务完成指标；再列适用的冷启动、持续性能、峰值内存、占用、功耗和温度，记录条件、时长及阈值出处。
补离线/弱网/低电量/温升/后台恢复/降级场景，列缺测和责任。无实测不填数，不声称已运行真机或天然满足隐私要求。

完成后会得到什么

一张有指标口径、结果与缺测状态的矩阵，以及优先验证清单。

结果应该怎么检查

核对设备、系统、模型和时长，检查是否拿一次峰值代表长期运行。回查最弱设备和异常场景，确认阈值来自批准要求。

遇到这些情况怎么处理

没有测量工具时先完善计划。数据条件不同则分组，不直接排名。模型升级后检查受影响组合，不只重测旗舰机。

哪些必须人工决定

研发与测试确认支持范围和通过标准，负责人决定发布。AI 整理矩阵，不代替真机、功率计或专业性能工具。