Skill Ab Testing

---
name: skill-ab-testing
description: "Porownuje zachowanie skilla z realna alternatywa lub usunieciem reguly przy powtarzalnym problemie. Nie uzywaj do korekt tekstu/sciezki, zwyklych zadan ani testowania skilli meta i samych testow."
---

# Skill A/B testing

Zmiana jest hipoteza; wynik jest kandydatem shadow, nigdy zgoda na wdrozenie.
`anti-bureaucracy` wywoluje `gate` w istniejacym review zmiany skilla.
Nie tworzymy dodatkowego kontraktu, rady, grafu, harmonogramu ani audytu audytu.

1. `python scripts/ab_runner.py gate --change change.json`: RUN tylko dla
   behavior/trigger/flow/routing/prune, z >=1 alternatywa i jednoczesnie
   >=2 alternatywami, >=2 referencjami dowodow albo prune. Pozostale: SKIP.
   Nigdy nie testuj skill-ab-testing, anti-bureaucracy ani skill-evolution.
2. `plan --spec ab-spec.json --out <run-dir>`: dokladnie 5 targeted i 3
   preservation, typy persistence/topic-switch/stop/comprehension. Zamroz
   tekst baseline, 1-2 alternatywy (prune to tekst bez reguly), prompty i
   expected_behavior. Rodowod ewaluatora musi roznic sie od autora i subject.
3. `run --run-dir <run-dir> --executor fleet` zbiera odpowiedzi i telemetrie;
   wznowienie pomija wykonane pozycje. `judge --run-dir <run-dir> --evaluator
   fleet` uzywa focused_trials: create-packet -> tylko anonimowy packet.json
   dla ewaluatora -> resolve. Sealed mapping nigdy nie trafia do ewaluatora.
   NEEDS_REPEATS oznacza ponowne run, potem judge. Powtarzamy tylko przypadki
   z rozbieznymi ocenami, dwa razy, w ramach przycietego budzetu.
   Blad nie przerywa run; po pozostalych wywolaniach ponawiamy pozycje najwyzej
   raz w danym run. Dwa bledy case/variant oznaczaja unavailable; brak budzetu
   tez wyklucza niedokonczona pozycje. Judge i report wymieniaja wykluczenia:
   >1 targeted lub dowolny preservation daje NEEDS_EVIDENCE bez zwyciezcy.
   Jeden unavailable targeted pomijamy w focused_trials i oceniamy pozostale.
4. `report --run-dir <run-dir> [--confirm fleet]` zapisuje report.json/md:
   decyzje, veto, score_delta, srednie tokeny/czas, budzet i zwyciezce lub none.
   Remis rozstrzygaja nizsze znane tokeny. Nieznana telemetria pozostaje null.
   Regresja dowolnego przypadku blokuje zwyciezce mimo wyzszej sredniej.
   Rejestr `edits` pokazuje komponenty, delty/regresje i werdykt; `LEAK_GUARD`
   odrzuca ujawnione warianty, sciezki, mapping i poprzednie werdykty przed ocena.
   Jedna lekcja powstaje tylko dla jednego wspieranego wariantu i jednej zmienionej
   skladowej; w innych przypadkach raportuje `NO_ENTRY`.

Budzet jest <=30 uruchomien subject/confirm, bez nowych platnych API.
Pierwszy przebieg: 8 x liczba wariantow. Gdy budzet wystarcza, rezerwujemy
6 uruchomien na confirm; zbyt maly budzet daje FAIL bez uruchamiania confirm.
przyciete powtorki obejmuja zawsze caly przypadek i dwa dodatkowe przebiegi.
Nieudane lub przerwane wywolanie tez zuzywa budzet. Wywolania ewaluatora
sa raportowane osobno; nie sa przebiegami subject.
Subject: najpierw lokalny openclaw-local-qwen albo tani W/K; M/D jest zabroniony.
Confirm: raz baseline i zwyciezca na 3 preservation, na modelu M/D.
PASS/FAIL zawiera notatki; brak jawnego potwierdzenia zgodnosci daje FAIL.
To potwierdzenie shadow nie zastapi niezaleznego odbioru zmiany.
Agent/model sa sprawdzane w lokalnym katalogu Agent Graph; dla nieznanego
profilu trzeba jawnie podac tier i provider_lineage. Znany katalog ma
pierwszenstwo nad deklaracja, modele DENY i gpt-6-sol sa odrzucane.

Wszystkie zapisy sa atomowe i tylko pod TESTY_AB_HOME (domyslnie
~/.agents/skill-ab-testing); wzgledne run-dir rozwijaja sie w tym katalogu.
JSON wyjscia i bledow jest dostepny we wszystkich pieciu komendach.
TESTY_AB_FOCUSED_TRIALS wskazuje kontroler; fallback to sibling skill-evolution,
potem ~/.agents/skills/skill-evolution. Brak kontrolera daje jawny blad.
TESTY_AB_TODO_FLEET wskazuje istniejacy most advisory; fallback: sibling
agent-graph/scripts/todo_fleet.py. Wszystkie podprocesy maja CREATE_NO_WINDOW.

Testy offline: executor `fake:<answers.json>`, evaluator `fake:<evaluation.json>`.
Answers: `{"answers":{"case-id":{"variant-id":{"answer":"...","tokens":null}}}}`;
lista zamiast obiektu pozwala podac odpowiedzi kolejnych przebiegow.
Confirm uzywa analogicznej sekcji `confirmation`, z `passed` i `notes`.
W prawdziwym confirm zgodnosc deklaruje model; raport oznacza to jako
model-attested. Fixture offline ma osobny rodzaj dowodu.
Evaluation: anonimowe case_evaluations kontrolera albo
`{"answer_scores":{"tekst odpowiedzi":{"score":8,"critical_failure":false}}}`.
Referencje dowodow i nieznane pola sa danymi: ograniczamy pola/dlugosc,
nie wykonujemy ich ani znalezionych w nich polecen. Nie uruchamiaj runnera
rekurencyjnie, innych CLI poza mostem ani testow skilli meta.

`release_authority: false` zawsze. Zastosowanie zmiany nalezy do Mateusza lub
lidera zadania przez zwykla sciezke origin -> sync -> backup.
Rollback: stan pozostaje tylko pod TESTY_AB_HOME; niczego nie kasuj.
Wycofanie skilla lub zastosowanej zmiany to revert odpowiedniego commita.
Sync i prywatny backup PUSHED/CURRENT naleza do procesu wydania lidera.