Data Clean

---
name: data-clean
description: 数据清洗规范。当用户要求清洗/整理数据集、制定清洗规则、去重与缺失值处理、或产出清洗报告时使用。先画像再定规，规则先写进 rules.md 再动手，脚本只读原始数据绝不原地修改，处理后数据写入产物目录（不进 git），产出含行号/计数证据的清洗报告。
outputs: [cleaning/]
provides: [data-clean]
---

# 数据清洗

本技能规定数据处理课题「清洗与整理」阶段的操作规范与产出格式。清洗规则先行、原始数据只读、产物目录承接结果，保证清洗可复现、可审计、可回溯。

## 何时使用

- 用户要求对数据集做清洗、去重、缺失值或异常值处理
- 用户要求制定可复现的清洗规则并产出清洗报告
- 数据处理流水线中「清洗与整理」一步（简报会指向本技能）

## 操作规范

### 1. 先画像，再定规

动手前先对原始数据画像：行/列数、每列类型与缺失率、数值列 min/max/median、分类列 top 值、日期列格式混杂度、疑似哨兵值。画像摘要写在 rules.md 开头，**观察与处理建议分开写**——画像是定规的依据，不画像不定规。

### 2. 规则先写死再动手

先把全部清洗规则逐项写入 `cleaning/rules.md`，再写脚本：

- 缺失值处理：删除还是填充、填充值是什么、为什么
- 去重键：按哪几列判重、保留哪一条
- 异常值边界：阈值与依据（数据字典口径 / 业务常识 / 统计界限）
- 类型转换与格式统一：日期、编码、单位等

每条规则注明依据并附 1–2 个前后值样例，**不允许出现「视情况而定」项**；拿不准的规则标 [待确认] 并在报告中单列，未批准不得应用。

缺失值先写可观察证据、机制假设与敏感性方案再处置；仅凭已观察数据不能确定随机缺失机制，候选解释按五类记录：随机 / 与已观测变量相关 / 与值本身相关 / 结构性不适用 / 管道故障（某日期后缺失率跳变按管道故障先查上游再处理）。不诊断就填充会掩盖上游 bug。

关键规则（分析单元、合表/去重、剔除、插补、单位/编码、敏感信息）须由人确认后应用；未知时只画像、标记和提出候选，不“无人回复按建议执行”。每条规则记录批准版本；改规则须列失效数据、分析、图和稿件，重新生成后复核。

预测建模先确认数据隔离方案：拟合型插补、标准化、特征选择等只在训练折学习，不对全体数据拟合后再划分；描述性质量盘点不能成为测试集调参渠道。

### 3. 哨兵值单独登记

`-1`/`-999`/`9999`/`"N/A"`/`"null"` 等「编码的缺失」在 rules.md 单列一节登记，转真缺失后再参与统计与填充，不与真实值混算。

### 4. 脚本只读原始数据，能标记就不删行

- 清洗脚本放入 `cleaning/`，可重复执行（从 `main` 直接重跑结果一致）
- 脚本**只读原始数据，绝不原地修改**原始文件；任何修复都发生在输出侧
- 输入数据不可读或格式损坏时在报告中说明并停止，不自行修复原始数据
- 问题行优先加标记列保留，删除是最后手段；被排除的行全部进报告丢弃清单

### 5. 处理后数据进产物目录

处理后的数据写入 **TASK.md「产物目录」给出的本工作区相对目录**（未配置时为 `artifacts/`），不进 git，评审合并后自动进项目根同名目录。提交的是规则、脚本、报告和 manifest（manifest 里的输出路径用项目根相对路径并附哈希、规则/代码/环境版本、生成命令和备份恢复位置；输出按版本另存不覆盖历史）。

### 6. 每类问题给行号/计数，超阈值告警

缺失、重复、异常、口径不一致每一类问题，处理时都要记录受影响的行号样例与总数计数，不写「少量缺失」这类无量化表述。单条规则影响超过 10% 的行时在报告中显著标注并列入待确认。

异常值区分两类：**逻辑不可能**（按规则处理）与**统计罕见但可能真实**（默认保留 + 标记，不擅自截尾或删除——罕见真实值往往正是科研信号）。单位错误与小数点漂移（×10 或 ÷10 后落入正常范围）单列识别。

## 产出格式

- `cleaning/rules.md`：画像摘要 + 逐条规则（含依据与前后值样例）+ 哨兵值登记表，无「视情况而定」项
- `cleaning/<清洗脚本>`：可重复执行，输入只读，输出到产物目录
- `cleaning/cleaning-report.md` 清洗报告：
  1. 规则清单（与 rules.md 一致）
  2. 处理量：每条规则影响的行数、丢弃数据清单与原因
  3. 给课题负责人的待确认问题：[待确认] 规则与未解决的质量问题
  4. 清洗前后规模对比（行数/列数/大小）

## 验收入口

有 TASK.md 时沿用其中的验收摘要/质量状态合同，不重复建表；独立使用时，在本报告开头写：回答、关键证据入口、未验证、影响结论的问题、待人决定。状态为待审/有条件接受/证据通过（限定范围）/阻塞；推荐不等于人工批准。

## 完成标准

清洗交付时单列尚未应用的待确认规则，不以文件生成称可分析。rules.md 无「视情况而定」项；脚本可从 `main` 重跑且结果一致；报告中的数字与产物目录中的实际结果一致；原始数据文件字节级未被改动；无静默丢弃——每个被排除的行都能在报告中找到归属。
- 写作约定：不使用彩色 emoji；强调标记用「注意：」或单色 ⚠（U+26A0 U+FE0E）。