102 · HR 数据分析与管理汇报

人力资源数据清洗与多表合并

第 102 / 119 篇约 4 分钟免费阅读

这个场景解决什么问题

人员主数据、考勤、绩效和招聘数据常来自不同系统,同一含义可能使用不同字段,员工编号、日期和组织名称也可能不一致。直接合并会造成重复、漏匹配或口径混乱。AI 可以协助建立字段映射、清洗数据、合并多表并保留转换记录,为后续分析准备可信数据。

适用范围

  • 员工主数据与考勤、绩效等业务表合并
  • 多系统字段、日期和员工编号标准化
  • 重复、缺失和格式错误检查
  • HR 分析前的数据准备和口径整理

需要准备什么

  1. 待处理的原始数据文件及字段说明
  2. 员工唯一编号或其他可靠关联键
  3. 目标数据表的标准字段和口径
  4. 组织、部门、岗位等名称映射表
  5. 缺失值、重复值和冲突值的处理规则
  6. 数据访问权限、脱敏、备份和输出要求

具体操作步骤

第一步:盘点文件和字段

先列出每个文件的工作表、记录数、字段、数据类型和日期范围,识别关键字段是否完整。此时不修改数据。

第二步:建立字段映射

明确每个原始字段对应哪个目标字段。例如,考勤系统中的“出勤天数”和 HRMS 中的“工作时长”不能因为都与出勤有关就直接合并,必须先明确二者定义、单位和换算关系。

字段映射至少应记录:来源文件、原始字段、目标字段、转换规则、是否已确认。

第三步:分层清洗

原始数据保持不动,另行生成清洗数据。统一员工编号、日期、部门和岗位名称,检查重复、错误格式和缺失值。缺失数据按已确认规则填补;没有规则时标记“待确认”,不要猜测。

第四步:执行多表合并

使用稳定关联键合并,记录匹配成功、未匹配、一对多和多对多情况。不能只用姓名合并。发现同一员工存在冲突数据时,保留各来源值并列入冲突清单。

第五步:保存分析数据和处理日志

建议分别保存:

  • 原始数据层:完全不改动
  • 清洗数据层:保留标准化后的明细
  • 分析数据层:按明确口径合并后的结果
  • 处理日志:字段映射、转换规则、异常和人工确认记录

可以直接参考的提示词

请对指定文件夹中的 HR 数据进行清洗和多表合并。原始文件不得修改。

请按以下步骤执行:
1. 盘点每个文件的工作表、记录数、字段、数据类型和日期范围。
2. 根据目标字段表建立字段映射,输出“来源文件—原始字段—目标字段—转换规则—确认状态”。
3. 无法确定含义或口径的字段标记为“待确认”,不要自行映射。
4. 在新的清洗文件中统一员工编号、日期、部门和岗位名称,检查重复、格式错误和缺失值。
5. 缺失值只能按我提供的规则处理;没有规则时保留空值并标记。
6. 使用员工编号等稳定关联键合并多表,统计匹配成功、未匹配、一对多和多对多记录。
7. 冲突数据保留各来源原值,不要自动覆盖。
8. 分别输出清洗数据、合并后的分析数据、异常清单和处理日志。

目标字段及口径:
【粘贴字段定义】

清洗与冲突处理规则:
【粘贴已确认规则】

最终会得到什么

  • 一份字段映射表
  • 各来源的标准化清洗数据
  • 合并后的分析数据表
  • 未匹配、重复、缺失和冲突清单
  • 完整的转换与处理日志

验收检查

  • 原始文件未被修改
  • 每个目标字段都能追溯到来源和转换规则
  • 合并使用稳定关联键,没有仅按姓名匹配
  • 合并前后记录数量变化可以解释
  • 未匹配、一对多和多对多记录均已列出
  • 缺失值没有被无依据填补
  • 随机抽查若干记录与原文件一致
  • 敏感数据的访问和输出范围符合要求

常见问题

字段名称相似,能否直接视为同一字段

不能。名称相似不代表定义、单位和统计周期一致,应先核对口径并记录转换关系。

缺失值能否用平均值或上一条记录填补

只有在业务规则明确允许时才能这样处理。员工编号、薪资、任职状态等关键字段不能凭统计方法随意补全。

为什么要保留三层数据

分层保存便于回溯错误、重跑规则和解释分析结果,也能避免清洗操作污染原始证据。

人工复核、风险与责任边界

AI 可以识别结构问题并执行已确认的清洗规则,但无法自行确定企业字段口径,也不能判断冲突来源中哪一个一定正确。字段定义、异常处理和数据权限必须由 HR、数据负责人或系统负责人确认。

参考材料

  • 《万字长文:【HR/人事/行政】 WorkBuddy 提效实战(附详细提示词)》
  • 《AI助力HR数据分析之②人才结构分析》
  • 《HR-AI分析实战:员工主数据遇上Codex & Trae》
  • 《HR × AI | WorkBuddy手搓 HR 专家团:5 步搭出你自己的数字 HR 团队》
  • 《【AI应用】deepseek人力资源应用场景方案设计》
  • 《HR 必看|WorkBuddy 人力资源实操教程》