Validation Sample

Name: Validation Sample
Author: andrewcigan

ASecurity

Эталонная валидационная выборка 50-100 реалистичных сценариев. Запускает validation-sample-builder (Sonnet). Категории basic/edge/error, leak-prevention, bin yes/no. Финальный gate ≥90% перед /ship. Триггеры — "/validation-sample", "построй выборку", "эталон тесты".

5 stars
0 votes
0 copies
3 views
Added September 6, 2026

ai-agentsgo

Security analysis

A100/100

Scanned September 6, 2026

npx -y skills add andrewcigan/vibe-dev-plugin --skill validation-sample --agent claude-code

Installs into .claude/skills of the current project.

Are you the author of Validation Sample?

Add the live security badge to your README. It updates with every re-scan.

Security grade badge for Validation Sample

[![Security: A — Skills Directory](https://www.skillsdirectory.com/api/skills/andrewcigan-validation-sample/badge)](https://www.skillsdirectory.com/skills/andrewcigan-validation-sample)

More formats (shields.io, HTML) on the badges page. Keep it an A: scan every change in CI with Pro.

Download with Pro

SKILL.md

---
name: validation-sample
description: Эталонная валидационная выборка 50-100 реалистичных сценариев. Запускает validation-sample-builder (Sonnet). Категории basic/edge/error, leak-prevention, bin yes/no. Финальный gate ≥90% перед /ship. Триггеры — "/validation-sample", "построй выборку", "эталон тесты".
when_to_use: FAST этап 8 после /dev-plan. FULL этап 13. До /feature loop. Также автоматически вызывается в /ship для финальной проверки.
---

# /validation-sample

Построение эталонной выборки через validation-sample-builder agent.

## Что происходит

1. Subagent `validation-sample-builder` (Sonnet) читает PRODUCT, ARCHITECTURE, domain-rules
2. Identify источники реалистичных сценариев:
   - User-provided data (приоритет)
   - Voice/chat logs old projects
   - Competitor reviews (WebSearch)
   - User-perspective-critic generated
   - Synthetic (≤20%)
3. Строит 50-100 scenarios в категориях:
   - basic_intent 60-70%
   - edge 15-20%
   - error 10-15%
4. **Leak prevention**:
   - `docs/validation-scenarios/inputs/` — только input
   - `docs/validation-scenarios/ground-truth/` — expected (только judge видит)
5. Запускает baseline run на текущей сборке (если есть код)

## Output

- `docs/validation-sample.md` — сводка
- `docs/validation-scenarios/inputs/*.md` — 50-100 сценариев
- `docs/validation-scenarios/ground-truth/*.md` — expected
- `./validation-runs/run-<ts>.jsonl` — результаты

## Critical gotchas

- **Leak prevention**: expected НЕ в одном файле с input
- **Judge contains rule**: YES если expected appears anywhere в Got, не exact match
- **Truncate Got >500 chars запрещён**

## Pass thresholds

- ≥90% → ✓ /ship
- 80-89% → 🟡 /ship с warnings, failed → backlog
- <80% → ❌ stop, 5 Why на failed scenarios

## Дальше

- Если pre-/feature loop — запоминаем baseline, /feature feat-001
- Если в /ship — финальный gate

## Cost cap

$3. Может занять до часа compute на judge.