Llm Eval Gate

---
name: llm-eval-gate
description: LLM 评测门禁：评测集、评分器、pass@k/pass^k 与回归判断
---

# LLM 评测门禁

## 何时使用

在修改提示词、模型、工具、检索、RAG 或 Agent 行为前后使用。

## 检查清单

### 定义

- 先写能力/回归评测定义与成功标准，再改实现；
- 评测集覆盖成功、失败、边界与对抗输入；
- 测试集不泄漏到训练、提示或示例。

### 评分

- 优先确定性检查，其次模型评分，最后人工；
- 模型评分说明偏差、抽样与一致性；
- 人工评分保留 rubric 与双人/复核机制（如适用）。

### 指标

- 报告 pass@k 与 pass^k，区分能力提升与回归；
- 记录模型、提示、工具、参数与数据版本；
- 同时报告成本、延迟与失败类型，不只看平均值。

### 门禁

- 明确发布阈值与回滚条件；
- 单次演示不能代替评测；
- 未运行或样本不足时明确标注，不报告为通过。

## 输出格式

- 评测定义与数据集；
- 评分器与运行命令；
- 基线与对比结果；
- 门禁结论与已知偏差。

## 反模式

- 用测试集调参后在同一测试集报告效果；
- 只报平均分，不报失败分布；
- 把“看起来更好”当评测结论。