102 · HR 数据分析与管理汇报
人力资源数据清洗与多表合并
第 102 / 119 篇约 4 分钟免费阅读
这个场景解决什么问题
人员主数据、考勤、绩效和招聘数据常来自不同系统,同一含义可能使用不同字段,员工编号、日期和组织名称也可能不一致。直接合并会造成重复、漏匹配或口径混乱。AI 可以协助建立字段映射、清洗数据、合并多表并保留转换记录,为后续分析准备可信数据。
适用范围
- 员工主数据与考勤、绩效等业务表合并
- 多系统字段、日期和员工编号标准化
- 重复、缺失和格式错误检查
- HR 分析前的数据准备和口径整理
需要准备什么
- 待处理的原始数据文件及字段说明
- 员工唯一编号或其他可靠关联键
- 目标数据表的标准字段和口径
- 组织、部门、岗位等名称映射表
- 缺失值、重复值和冲突值的处理规则
- 数据访问权限、脱敏、备份和输出要求
具体操作步骤
第一步:盘点文件和字段
先列出每个文件的工作表、记录数、字段、数据类型和日期范围,识别关键字段是否完整。此时不修改数据。
第二步:建立字段映射
明确每个原始字段对应哪个目标字段。例如,考勤系统中的“出勤天数”和 HRMS 中的“工作时长”不能因为都与出勤有关就直接合并,必须先明确二者定义、单位和换算关系。
字段映射至少应记录:来源文件、原始字段、目标字段、转换规则、是否已确认。
第三步:分层清洗
原始数据保持不动,另行生成清洗数据。统一员工编号、日期、部门和岗位名称,检查重复、错误格式和缺失值。缺失数据按已确认规则填补;没有规则时标记“待确认”,不要猜测。
第四步:执行多表合并
使用稳定关联键合并,记录匹配成功、未匹配、一对多和多对多情况。不能只用姓名合并。发现同一员工存在冲突数据时,保留各来源值并列入冲突清单。
第五步:保存分析数据和处理日志
建议分别保存:
- 原始数据层:完全不改动
- 清洗数据层:保留标准化后的明细
- 分析数据层:按明确口径合并后的结果
- 处理日志:字段映射、转换规则、异常和人工确认记录
可以直接参考的提示词
请对指定文件夹中的 HR 数据进行清洗和多表合并。原始文件不得修改。
请按以下步骤执行:
1. 盘点每个文件的工作表、记录数、字段、数据类型和日期范围。
2. 根据目标字段表建立字段映射,输出“来源文件—原始字段—目标字段—转换规则—确认状态”。
3. 无法确定含义或口径的字段标记为“待确认”,不要自行映射。
4. 在新的清洗文件中统一员工编号、日期、部门和岗位名称,检查重复、格式错误和缺失值。
5. 缺失值只能按我提供的规则处理;没有规则时保留空值并标记。
6. 使用员工编号等稳定关联键合并多表,统计匹配成功、未匹配、一对多和多对多记录。
7. 冲突数据保留各来源原值,不要自动覆盖。
8. 分别输出清洗数据、合并后的分析数据、异常清单和处理日志。
目标字段及口径:
【粘贴字段定义】
清洗与冲突处理规则:
【粘贴已确认规则】
最终会得到什么
- 一份字段映射表
- 各来源的标准化清洗数据
- 合并后的分析数据表
- 未匹配、重复、缺失和冲突清单
- 完整的转换与处理日志
验收检查
- 原始文件未被修改
- 每个目标字段都能追溯到来源和转换规则
- 合并使用稳定关联键,没有仅按姓名匹配
- 合并前后记录数量变化可以解释
- 未匹配、一对多和多对多记录均已列出
- 缺失值没有被无依据填补
- 随机抽查若干记录与原文件一致
- 敏感数据的访问和输出范围符合要求
常见问题
字段名称相似,能否直接视为同一字段
不能。名称相似不代表定义、单位和统计周期一致,应先核对口径并记录转换关系。
缺失值能否用平均值或上一条记录填补
只有在业务规则明确允许时才能这样处理。员工编号、薪资、任职状态等关键字段不能凭统计方法随意补全。
为什么要保留三层数据
分层保存便于回溯错误、重跑规则和解释分析结果,也能避免清洗操作污染原始证据。
人工复核、风险与责任边界
AI 可以识别结构问题并执行已确认的清洗规则,但无法自行确定企业字段口径,也不能判断冲突来源中哪一个一定正确。字段定义、异常处理和数据权限必须由 HR、数据负责人或系统负责人确认。
参考材料
- 《万字长文:【HR/人事/行政】 WorkBuddy 提效实战(附详细提示词)》
- 《AI助力HR数据分析之②人才结构分析》
- 《HR-AI分析实战:员工主数据遇上Codex & Trae》
- 《HR × AI | WorkBuddy手搓 HR 专家团:5 步搭出你自己的数字 HR 团队》
- 《【AI应用】deepseek人力资源应用场景方案设计》
- 《HR 必看|WorkBuddy 人力资源实操教程》