Prompt Evaluation

---
name: prompt-evaluation
description: Prompt 评估与对比，通过维度定义、样本设计、对比测试、量化评分、上线建议的五步流程验证 Prompt 效果
when_to_use: |
  用于 Prompt 效果验证、A/B 对比测试、量化评分、上线决策依据时调用。
  典型触发："评估这版 prompt 效果" / "对比 A/B" / "看 prompt 数据" / "评估实验"。
  不用于：Prompt 设计本身（用 prompt-design）/ 系统功能测试（用 test-case-design 由 qa 主导）/ 单条 case 调试（直接对话即可）。
user-invocable: true
allowed-tools: [Read, Write, Edit, Glob, Grep, Bash]
---

# Prompt 评估技能

## 适用场景

- 评估单个 Prompt 的输出质量
- 对比多个候选 Prompt，选出最优
- 验证 Prompt 迭代后的效果（前后对比）
- 定期回归验证，防止 Prompt 效果衰减

## 五步流程

### 第 1 步：评估维度定义

根据 Prompt 场景选择评估维度（可叠加）：

| 维度 | 评估问题 | 适用场景 |
|------|---------|---------|
| **准确性** | 输出内容是否事实正确、任务完成度高？ | 信息类、生成类 |
| **完整性** | 是否覆盖了所有要求的要素？ | 结构化输出 |
| **一致性** | 相同输入是否产出相似输出？ | 稳定性要求高的场景 |
| **可读性** | 输出是否清晰易懂、格式合理？ | 面向终端用户 |
| **相关性** | 输出是否贴合用户意图？ | 问答、推荐 |
| **安全性** | 是否规避了违规/有害/越权内容？ | 全部 |
| **成本** | 消耗的 token 数、延迟 | 高频调用场景 |
| **鲁棒性** | 对边界/对抗输入的处理能力 | 高安全要求 |

每个维度定义 1-5 分的评分标准。

### 第 2 步：测试样本设计

设计代表性测试样本集：

| 样本类别 | 占比 | 用途 |
|---------|------|------|
| 正常样本（Typical） | 50% | 覆盖主流场景 |
| 边界样本（Edge） | 30% | 测试边界处理 |
| 对抗样本（Adversarial） | 20% | 测试安全性和鲁棒性 |

样本集规模建议：
- 快速验证：10-20 个样本
- 标准评估：30-50 个样本
- 深度回归：100+ 个样本

每个样本包含：
```yaml
sample_id: S-001
category: typical | edge | adversarial
input:
  variables:
    user_input: "{具体输入}"
    style_tone: "neutral"
expected_characteristics:
  - "应包含 X"
  - "不应包含 Y"
  - "格式应符合 Z"
```

### 第 3 步：对比测试执行

| 对比模式 | 说明 |
|---------|------|
| 单 Prompt 评估 | 跑一个 Prompt，打分判断是否达标 |
| A/B 对比 | 两个候选 Prompt 在同一样本集上对比 |
| 版本回归 | 新版 Prompt vs 旧版 Prompt，防止退步 |
| 多候选排序 | 3+ 个候选 Prompt 排序选最优 |

执行时注意：
- 固定 temperature / top_p 等参数，保证可复现
- 每个样本至少运行 3 次（减少随机性影响）
- 记录完整输入/输出/耗时/token

### 第 4 步：量化评分

按维度为每个输出打分（1-5），计算综合得分：

```yaml
sample_id: S-001
prompt_version: v1.2
scores:
  accuracy: 4
  completeness: 5
  consistency: 4
  readability: 5
  safety: 5
overall: 4.6   # 加权平均或简单均值
cost:
  input_tokens: 150
  output_tokens: 320
  latency_ms: 1200
```

汇总到评估矩阵：

| 样本 | Prompt A | Prompt B | 胜出 |
|------|----------|----------|------|
| S-001 | 4.6 | 4.2 | A |
| S-002 | 3.8 | 4.5 | B |
| ... | ... | ... | ... |
| **平均** | **4.2** | **4.1** | **A** |

### 第 5 步：上线建议

基于评分给出明确建议：

| 结果 | 建议 | 后续动作 |
|------|------|---------|
| 新版显著优于旧版（>10%） | ✅ 上线 | 灰度发布 → 全量 |
| 新版略优（2-10%） | ⚠️ 谨慎上线 | 小流量 A/B 验证 |
| 效果持平（±2%） | 🔄 不上线 | 继续优化或保持现状 |
| 新版变差 | ❌ 回退 | 分析原因，重新设计 |
| 某维度显著回退 | ❌ 回退 | 即使综合分更高也回退 |

## 输出模板

```markdown
# Prompt 评估报告

## 1. 评估目标
- 评估对象：{Prompt-A v1.2 vs Prompt-A v1.1}
- 评估维度：{准确性、完整性、安全性}
- 样本规模：{30 个}

## 2. 样本集概览
- 正常：15 个
- 边界：9 个
- 对抗：6 个

## 3. 评分矩阵
{矩阵表格}

## 4. 关键发现
- v1.2 在"准确性"上提升 {X}%
- v1.2 在"完整性"上持平
- v1.2 在"边界样本"上有 2 个 case 回退

## 5. 上线建议
{建议 + 理由}

## 6. 附录
- 完整测试数据：{路径}
- Bad Case 分析：{路径}
```

## 下游衔接

- **prompt-design**：评估结果反馈到设计迭代
- **self-iteration**：评估**结论**经 `@prompt-eng notes.md` 沉淀后参与自迭代模式识别；
  自迭代不直接读 `projects/evals/`（其数据源清单见该 skill 阶段 (a)），别指望评估报告
  自动被消费——要它进决策就写进 notes
- **@qa**：评估样本可纳入回归测试

## 反模式

- ❌ 用 2-3 个样本就下结论
- ❌ 只看综合分，忽视单维度回退
- ❌ 不设对抗样本，只测 Happy Path
- ❌ 不固定参数，结果无法复现
- ❌ 评估完不给明确上线/回退建议