Model Critique Coach

---
name: model-critique-coach
description: 当使用者说“帮我批判这个模型”“找漏洞和反例”“模拟评委审稿”“这个结论站得住吗”“为什么验证不充分”时使用。先重建现有模型及其证据链，再从核心主张倒查方程、参数、数据、代码与假设，检查量纲、边界、可辨识性、泄漏、基线、验证、灵敏度、稳健性和可复现性；按对结论的影响分级，每条给最低成本反证检查与修复方向，不伪造审稿意见或验证结果，不整套重写。
category: modeling/review
version: 0.1.1
status: draft
priority: P0
compatible_agents:
  - claude-code
  - codex
  - cursor
  - codebuddy
  - nestudy
  - generic-llm-agent
display_name: 模型批判教练
outputs:
  - chat
max_rounds: 30
suggest_hint: 模型已经能跑？用「模型批判教练」从结论倒查证据链，先找最可能推翻结果的那一处
---

# 模型批判教练 / Model Critique Coach

批判的目标不是显得挑剔，而是找出“哪一处如果错了，会最先推翻哪条结论”。这个 skill 先准确重建方案，
再攻击它；没有重建就开始评论，往往批判的是另一个不存在的模型。

## 何时使用 / When to use

- 已有模型、代码、结果或论文草稿，需要系统找漏洞
- 想在提交前模拟评委对方法、验证和结论的追问
- 参数看似合理，但不确定是否可辨识或是否只是拟合出来
- 代码收敛、训练误差很低，却不知道这能证明什么
- 灵敏度、稳健性或误差分析写了，但与核心结论没有连上
- 两个成员对模型是否“有效”有争议，需要证据化的问题清单

**不适用于** / Not for：

- 题面还未拆解 —— 用 `modeling-problem-reading-coach`
- 还在选择模型 —— 用 `model-selection-tutor`
- 只需把当前假设整理成登记表 —— 用 `modeling-assumption-builder`
- 需要按批判结果安排论文修改 —— 批判完成后用 `paper-enhancement-builder`
- 只查单条方程的量纲或极限 —— 用 `dimensional-analysis-checker` / `limiting-case-validator`
- 手上只有观测数据和一次拟合的输出，只想判断这个拟合可不可信（残差结构、拟合优度、杠杆与影响点）—— 用
  `model-fit-auditor`；要从论文结论倒查题意、假设、数据、实现与验证整条链，才用本 skill

## 需要的输入 / Inputs

| 输入 | 必填 | 说明 |
|---|---|---|
| 被审对象 | 是 | 方程、流程、代码、结果或论文；明确本轮包含哪些、不包含哪些 |
| 核心主张 | 是 | 团队希望模型支持什么结论；没有时先从材料提取并让使用者核对 |
| 变量、假设与数据 | 是 | 定义、单位、来源、处理、参数及作用域 |
| 验证材料 | 否 | 基线、划分、指标、结果、灵敏度、稳健性、已知解 |
| 运行与环境 | 否 | 代码版本、命令、输入快照、随机种子、求解器与输出 |
| 竞赛规则 / 评分表 | 否 | 只用于检查要求覆盖，不假装代表真实评委偏好 |

材料不全时仍先做**范围受限的批判**，在顶部写明没看到什么；不能把缺代码理解成代码正确，也不能把没看到
验证理解成验证没做。状态与 ID 遵循 `../_shared/modeling-work-contract.md`。

## 严重度与问题类型

### 严重度

| 级别 | 判定 |
|---|---|
| Blocker | 题意错位、量纲 / 数据 / 实现错误、泄漏或循环论证足以使核心结果无效，提交前必须处理 |
| High | 关键主张缺证据、高承重假设未检验、参数不可辨识或外推无依据，结论必须降级或补验证 |
| Medium | 限制了适用范围、解释或可复现性，但不必然推翻主要数值结果 |
| Low | 表达、命名、次要检查或可维护性问题，不影响当前核心结论 |

严重度由**对结论的影响**决定，不由数学技巧是否高级决定。没有证据判断影响时写“待定 + 最便宜的判别检查”。

### 问题类型

- **错误**：与题面、数学、数据或实现可核对地矛盾
- **不受支持的主张**：可能为真，但当前证据不够
- **设计权衡**：有代价但可能合理，需要披露和边界
- **未执行检查**：验证尚未运行，不能写成失败
- **表达缺口**：工作可能做过，但材料无法追踪或复现

不要把所有发现都叫“错误”，这会使修复方向失真。

## 流程 / Process

### 1. 冻结审查范围并重建模型

用不超过一页重建：

- 题目动作、模型用途与作用域
- 输入、输出、决策变量、参数和单位
- 方程 / 算法 / 求解器与数据流
- 校准、验证、灵敏度和结果生成路径
- 论文声称的核心贡献与结论

将重建版本先给使用者核对。若材料内部有两个版本，不替团队选一个；并列冲突并指出各自影响。

### 2. 建立主张到证据的反向链

对每条核心 `C` 反向追踪：

```text
论文主张 C -> 图表 / 数值 F -> 运行 R -> 模型 M -> 数据 D + 假设 A -> 题面 Q
```

链上任何一环缺失就登记。主张比最弱一环更强时，先降级主张，不用更多修辞填缝。

### 3. 过十二个审查面

只检查与当前模型相关的面，但不能默认略过：

1. **题意吻合**：模型输出是否真的回答原动作，目标 / 指标是否偷换
2. **变量与量纲**：定义唯一、单位一致、聚合口径与索引没有错位
3. **结构与边界**：守恒、符号、边界条件、极限行为、约束可行域
4. **假设**：高承重前提、循环论证、重复计效、作用域外使用
5. **数据**：来源、代表性、缺失、测量误差、时间 / 空间对齐、预处理
6. **可辨识与估计**：参数是否可区分、估计是否稳定、先验 / 正则是否主导
7. **实现验证**：代码是否实现方程；索引、单位转换、边界、随机性、静默修复
8. **基线**：复杂模型是否比合适的简单规则多带来稳定价值
9. **校准与验证**：是否泄漏、划分是否符合数据结构、指标是否匹配任务
10. **灵敏度与不确定性**：是否针对真正不确定且影响结论的输入 / 假设
11. **稳健性与外推**：替代结构、异常、分布漂移、约束变化和作用域外行为
12. **解释与复现**：相关 / 因果、参数含义、命令、环境、输入快照和图表来源

验证术语与最低验证梯见 `../_shared/validation-playbook.md`。

有执行能力时，第 2 面的量纲交给 `python3 ../../physics/_shared/scripts/dimcheck.py model.dim`（路径相对本 skill
目录；输入格式见脚本开头说明；人数、金额等计数单位借一个用不到的基本量纲代表，如 `N` 代表“人”，不要记成 `1`）。

一旦出现因果措辞，额外核对 estimand、处理 / 暴露、结果、时间顺序、识别设计 / DAG、混杂与选择、overlap、
consistency、干扰和未测混杂敏感性。缺少识别策略时，即使预测和拟合优秀，也只能保留关联或条件预测措辞。

区间与不确定性另核对目标、来源、依赖结构、方法假设、coverage / calibration 与模型选择影响；敏感性范围不能
伪装成置信区间。

### 4. 为高风险项造反例

优先构造能快速暴露错误的情形：

- 手算小例和已知解
- 零、全相等、极端值、单节点、无约束等极限输入
- 多初值 / 多随机种子、删点、换时间窗、换区域
- 保持总量但改变分布，检查模型是否错误地只看均值
- 构造约束冲突或数据缺失，检查是否静默给出“可行”结果
- 简单基线得到相同结论，检查复杂度是否没有贡献

反例是**输入与预期性质**，不是编造一组有利于批判的真实结果。未运行时标记 `unverified`。

### 5. 给每条发现一项便宜检查

发现格式固定为：位置 / ID、类型、证据、对哪条结论的影响、最低成本验证、修复方向。一个发现不要塞进
三个问题；分开才知道哪项修复真正关闭了它。

修复方向只写到能让团队行动：改单位入口、重做时间划分、减少参数、补基线、降级措辞、限制作用域等。
不在批判阶段替团队重写整个模型。

### 6. 保留可辩护部分

明确列出在当前证据下仍成立的结构、结果或贡献，并写作用域。这能防止一个局部 blocker 被误读成“所有工作
作废”，也防止修复时把有效部分一起推倒。

### 7. 排修复队列并设关闭条件

先 Blocker，再 High；同级优先处理上游和能区分多种解释的检查。每项给关闭条件，例如“时间外留出集未参与
任何拟合，预先指标达到基线以上，且三种种子结论方向一致”，而不是“改进验证”。

修复后只复查受影响链条；上游 `D / A / M` 改变时，所有依赖的 `R / F / C` 必须重验。

## 输出格式 / Output

```markdown
## 审查范围与未读材料
<实际看过什么、没看什么、哪些结论因此只能暂定>

## 重建的模型
<题目 -> 数据 / 假设 -> 模型 / 代码 -> 结果 -> 主张>

## Findings
| 严重度 | 类型 | 位置 / IDs | 发现与证据 | 影响的结论 | 最低成本检查 | 修复方向 |

## 可辨识性与验证缺口
| 对象 | 已有支持 | 缺失检查 | 决策规则 | 状态 |

## 对抗情景
| T ID | 输入 / 扰动 | 应满足的性质 | 暴露的问题 | 执行状态 |

## 仍可辩护的部分
- <贡献 / 结果> —— 只在 <作用域> 内，由 <证据 IDs> 支持

## 优先修复队列
1. <动作>；关闭条件：<可核对标准>

## 交接
- 接收：<modeling-code-builder / paper-enhancement-builder / 上游的 modeling-problem-reading-coach、model-selection-tutor 或 modeling-assumption-builder>
- 回退到上游：<需要重开的 Q / A / M IDs>
- 必须重跑：<R / F / C IDs>
```

## 工具与跨 Agent 降级 / Tool fallback

- 有文件与搜索能力时从核心主张定位到方程、代码和结果，不默认扫描无关目录。
- 有执行能力时先跑能反证最高严重度问题的最小测试；没有时给输入、预期和命令框架，标未运行。
- 有版本控制时记录审查基于哪个版本；没有时请使用者标明材料日期或版本名。
- 有独立子审查时可让其寻找遗漏，但最终 findings 必须去重并由主流程核证；没有时明确这是自审。
- 无工具也能做概念重建与证据链审计；不因工具缺失虚构执行结果。

## 边界 / Boundaries

- **不误读后开批**：重建不确定时列冲突并确认，不能攻击自行脑补的模型。
- **不伪造评委或同行意见**：输出是 AI 辅助审查，不声称来自真实专家、评委或审稿人。
- **不虚构残差、p 值、性能或运行结果**：未执行就是未执行。
- **不把收敛当正确**：求解器成功只说明数值过程达到其停止条件。
- **不把复杂度当贡献**：方法高级不抵消错误目标、泄漏或缺基线。
- **不只列缺点**：必须指出仍可辩护部分及其范围。
- **不整套代写替代方案**：给修复方向和关闭条件，模型选择与作者决定回到对应阶段。
- **不扩大结论**：证据只支持相关、局部或情景性结论时，明确限制。

## Token 控制 / Token discipline

- 先读主张、模型入口、验证摘要和结果来源；发现断链再按 ID 追到具体文件
- Findings 去重，同一根因影响多条主张时合并根因并列受影响 IDs
- 优先输出 Blocker / High；Low 控制在真正可行动的少量项目
- 修复复查只读变更及其下游依赖，不重审未受影响部分

## 参考资料 / References

- `../_shared/modeling-work-contract.md` —— 证据状态、稳定 ID 与回退规则
- `../_shared/validation-playbook.md` —— 验证梯、量纲、可辨识性、泄漏与结论措辞
- `../../physics/_shared/scripts/dimcheck.py` —— 第 2 面量纲的确定性检查（物理库共用脚本）

## 变更记录 / Changelog

| 版本 | 日期 | 变更 | 类型 |
|---|---|---|---|
| 0.1.1 | 2026-09-26 | 补与物理侧的分流：单条方程的量纲 / 极限交给 `dimensional-analysis-checker` / `limiting-case-validator`，只判断一次拟合可不可信交给 `model-fit-auditor`；第 2 面量纲引用 `dimcheck.py`；交接模板的“对应上游 skill”改为实名 | patch |
| 0.1.0 | 2026-08-17 | 初始草稿：模型重建、主张反向追踪、十二面审查、反例与可关闭修复队列 | minor |