Data Eda

---
name: data-eda
description: 探索性数据分析与绘图规范。当用户要求对数据集做 EDA、分布/相关/异常分析、或绘制可复现图表时使用。分析前先做数据档案（样本量/缺失模式/变量类型）并列数据警告；分布、相关、异常按适用性覆盖并披露选择；图表英文标注、由可复现脚本生成并写入 figures/；每条发现区分描述性事实、探索模式和有明确验证依据的确证结论并可回溯出处；统计结论先过 stats-check 口径。
outputs: [analysis/, figures/, eda-report.md]
provides: [data-eda]
---

# 探索性分析与绘图

本技能规定数据处理课题「探索性分析（EDA）」阶段的操作规范与产出格式。先盘清数据再动手、分析按适用性覆盖并披露选择、图表可复现、发现分级可回溯，保证结论经得起复查。

## 何时使用

- 用户要求对清洗后的数据做探索性分析、找规律或出结论
- 用户要求绘制论文/报告级图表（分布、相关矩阵、异常点等）
- 数据处理流水线中「探索性分析」一步（简报会指向本技能）

## 操作规范

### 0. 数据档案先行

分析开始前，先在报告开头落「数据档案」块（快筛性质，无需用户确认）：

- 档案表：样本量 N、变量类型计数（数值/类别/日期等）、缺失率最高的字段、适用的异常提示、关键变量分布与测量尺度；不用 >3SD 或正态性检验结果机械决定删除/检验
- 数据警告段：档案暴露的问题集中列出（如「X 明显右偏，参数检验慎用」「Y 缺失率高，注意缺失机制」），先于分析给出，不是事后补
- 有数据字典先读字典（含义/单位/允许范围/缺失码）；缺字典或单位不明标 [待确认]，不凭列名猜单位

### 1. 分布/相关/异常全覆盖，不挑选

- **分布分析**：按数值/类别/日期等类型选分布摘要与图，不给 ID/无序类别强套直方图；高维数据分组汇总，说明未逐项绘图范围，不按结果是否漂亮筛选
- **相关分析**：依据变量类型、研究问题选择关联度量，排除 ID 等不适用字段并说明；披露比较范围、多重性与选择规则，不用固定 |r| 阈值决定发现价值
- **异常分析**：按清洗规则口径复查残留异常；新发现的异常标 [待确认] 并给出样例行号
- 关键变量同时报 mean/SD 与 median/IQR，两组差异可能来自偏态、离群或尺度，需检查分布而非直接归因为异常点；标出的异常是提示，不是删除依据
- 缺失语义不混同：缺失、结构性不存在、未检出/低于检出限、真零含义不同，区分记录，**永不自动填补**
- 一行 ≠ 一个独立样本：存在重复测量/配对/分组结构时先说明，再决定怎么汇总

### 2. 图表规范

- 图表统一**英文标注**（标题、坐标轴、图例；数据标签含单位），正文解读用中文
- 全部图表由 `analysis/` 下的可复现脚本生成，**禁止手工改图**；脚本从 `main` 重跑应产出相同图片
- 图表写入 `figures/`，文件名与报告中引用一一对应（如 `fig1-age-histogram.png`）
- 绘图参数固定（dpi ≥ 150、字号、配色），同一报告内风格一致
- 探索期轻规则：直接标注优先于图例、单一强调色；默认不用饼图与 3D 图（投稿级规格归 figure-forge）

### 3. 发现可回溯，证据分级

`eda-report.md` 每条发现必须附证据：对应的 figures/ 文件名或具体统计量数值，不写「数据表明」「大致呈正相关」这类无出处的表述。

- 每条发现标注「描述性事实」「探索性模式」或「确证性结论（注明依据）」；数据驱动发现默认探索，写入待验证假设。只有预先指定且设计有效的检验或合适独立/留出验证才能支持确证；同数据探索后补 p 值、通过 stats-check 或重复运行均不满足升级条件
- 相关不写成因果：EDA 得出的关联一律按关联表述，不升级为机制解释

### 4. 涉及统计结论时先过 stats-check

`eda-report.md` 的结论若包含统计检验、显著性或效应量表述，先按 stats-check 技能的审查口径自查（检验方法与数据匹配、p 值给具体值、附效应量与置信区间），再落笔。

### 5. 代码风格（matplotlib/pandas）

- 每个分析脚本设 `main()` 与 `if __name__ == "__main__":` 入口，从 `main` 重跑全流程
- 路径集中为模块顶部常量，读 TASK.md「产物目录」绝对路径下的数据、写 figures/（主交付 SVG/PNG）
- 一图一函数，函数名说明图意；不依赖交互式状态，不手写中间结果进代码
- 依赖只用项目已有的 pandas/matplotlib/numpy，不新增未声明依赖
- 行内审计注释：每个筛选/聚合/派生列带一行 `# 意图:` / `# 依据:` 注释，复查时读得出为什么这么写

## 产出格式

- `analysis/<EDA 脚本>`：可复现，`main()` 入口，输出全部图表到 `figures/`
- `figures/`：全部图表，英文标注，文件名与报告引用一一对应
- `eda-report.md` 分析报告：
  0. 数据档案与警告：档案表 + 数据警告段 + [待确认] 的字典/单位缺口
  1. 分布分析：逐字段解读，附图表与统计量（关键变量含 mean/SD 与 median/IQR 对照）
  2. 相关分析：适用的关联图/表 + 比较与选择范围 + 未覆盖项理由
  3. 异常与敏感性分析：残留异常复查 + 新发现 [待确认] 异常样例 + 异常点对均值/中位数的影响
  4. 结论：按证据报告描述性事实和有明确验证依据的结论，允许零条；不凑数量，每条附对应图表/数字
  5. 待验证假设与待确认项：探索性模式与 [待确认] 口径集中于此

## 复算与返工

在现有统计报告或 eda-report 中记录主要数字从原始输出的复算命令、数据/规则/代码/环境版本、预期/实测与容差。划分训练测试前不拟合全体数据预处理；方案未知只做受限质量盘点。清洗/数据/分析规则改变，列失效表图、报告和稿件，重算重验；报告下游只能继承同样或更弱的证据等级。

## 验收入口

有 TASK.md 时沿用其中的验收摘要/质量状态合同，不重复建表；独立使用时，在本报告开头写：回答、关键证据入口、未验证、影响结论的问题、待人决定。状态为待审/有条件接受/证据通过（限定范围）/阻塞；推荐不等于人工批准。

## 完成标准

`figures/` 与 `eda-report.md` 存在；数据档案表存在；每条发现带证据分级标签且可回溯到具体图表或数字；无 [待确认] 被静默略过；无主观臆断；脚本从 `main` 重跑产出与仓库中一致的图表。

- 写作约定：不使用彩色 emoji；强调标记用「注意：」或单色 ⚠（U+26A0 U+FE0E）。

---

理念参考：K-Dense-AI/scientific-agent-skills（MIT）exploratory-data-analysis、Yuan1z0825/nature-skills（Apache-2.0）nature-statistics、caylent/tufte-data-viz（MIT）探索期图表轻规则、daaf（LGPL-3.0）行内审计注释与证据分级（仅借思想）；内容为按 Ccode 科研工作流重写。