Validation Sample

---
name: validation-sample
description: Эталонная валидационная выборка 50-100 реалистичных сценариев. Запускает validation-sample-builder (Sonnet). Категории basic/edge/error, leak-prevention, bin yes/no. Финальный gate ≥90% перед /ship. Триггеры — "/validation-sample", "построй выборку", "эталон тесты".
when_to_use: FAST этап 8 после /dev-plan. FULL этап 13. До /feature loop. Также автоматически вызывается в /ship для финальной проверки.
---

# /validation-sample

Построение эталонной выборки через validation-sample-builder agent.

## Что происходит

1. Subagent `validation-sample-builder` (Sonnet) читает PRODUCT, ARCHITECTURE, domain-rules
2. Identify источники реалистичных сценариев:
   - User-provided data (приоритет)
   - Voice/chat logs old projects
   - Competitor reviews (WebSearch)
   - User-perspective-critic generated
   - Synthetic (≤20%)
3. Строит 50-100 scenarios в категориях:
   - basic_intent 60-70%
   - edge 15-20%
   - error 10-15%
4. **Leak prevention**:
   - `docs/validation-scenarios/inputs/` — только input
   - `docs/validation-scenarios/ground-truth/` — expected (только judge видит)
5. Запускает baseline run на текущей сборке (если есть код)

## Output

- `docs/validation-sample.md` — сводка
- `docs/validation-scenarios/inputs/*.md` — 50-100 сценариев
- `docs/validation-scenarios/ground-truth/*.md` — expected
- `./validation-runs/run-<ts>.jsonl` — результаты

## Critical gotchas

- **Leak prevention**: expected НЕ в одном файле с input
- **Judge contains rule**: YES если expected appears anywhere в Got, не exact match
- **Truncate Got >500 chars запрещён**

## Pass thresholds

- ≥90% → ✓ /ship
- 80-89% → 🟡 /ship с warnings, failed → backlog
- <80% → ❌ stop, 5 Why на failed scenarios

## Дальше

- Если pre-/feature loop — запоминаем baseline, /feature feat-001
- Если в /ship — финальный gate

## Cost cap

$3. Может занять до часа compute на judge.