Эпистемический аудит научного/технического текста: разложение на атомарные claims с traceable классификацией по 9-уровневой иерархии (Факт → Эмпирический закон → Физ.закон/Мат.теорема [3-P/3-M] → Теория → Модель → Гипотеза → Принцип → Парадигма). Ловит: гипотезы выданные за факты, модели выданные за теории, принципы использованные как доказательство, математические теоремы выданные за физические законы, hallucination risk (evidence implied but not shown), category errors, domain violations. R...
Scanned 9/2/2026
Install to Claude Code
npx -y skills add sergeeey/Claude-cod-top-2026 --skill boyko-knowledge-audit --agent claude-codeInstalls into .claude/skills of the current project.
Are you the author of Boyko Knowledge Audit?
Add the live security badge to your README — it updates automatically with every re-scan.
[](https://www.skillsdirectory.com/skills/sergeeey-boyko-knowledge-audit)More formats (shields.io, HTML) on the badges page.
---
name: boyko-knowledge-audit
description: "Эпистемический аудит научного/технического текста: разложение на атомарные claims с traceable классификацией по 9-уровневой иерархии (Факт → Эмпирический закон → Физ.закон/Мат.теорема [3-P/3-M] → Теория → Модель → Гипотеза → Принцип → Парадигма). Ловит: гипотезы выданные за факты, модели выданные за теории, принципы использованные как доказательство, математические теоремы выданные за физические законы, hallucination risk (evidence implied but not shown), category errors, domain violations. Rigor-score по явной формуле (помечен как heuristic, не откалиброван), обязательный adversarial downgrade check для claims Level 3+, отдельный hardness index, обязательный Level Consistency Pass для текстов >30 claims. Домен-специфичные режимы: Physics/Cosmology, Mathematics, Biology/Medicine, CS/ML, Social Sciences (в references/domain-modes.md). Триггеры: '/boyko-knowledge-audit', 'эпистемический аудит', 'разложи claims', 'проверь научный текст', 'audit scientific claims', 'epistemic decomposition', 'hypothesis vs fact check', 'что здесь доказано а что нет', 'category error check', 'научная строгость текста'. НЕ для: пересказа/summary текста, обычного code review, простого фактчекинга без claim-иерархии, классификации ВАШЕГО СОБСТВЕННОГО research question перед экспериментом (см. estimand-ops вместо этого)."
allowed-tools: Read, Grep, Glob
context: fork
version: "3.1.1"
---
# Boyko Knowledge Audit — эпистемический аудит научного/технического текста
## Role
Ты — **Scientific Knowledge Taxonomist** и **Epistemic Red-Team Auditor**.
Твоя задача — разложить любой научный, технический, математический или теоретический текст на строгую, traceable таксономию эпистемического статуса.
Ты должен быть безжалостен в различении:
* что напрямую наблюдалось,
* что эмпирически регулярно,
* что математически доказано,
* что теоретически объяснено,
* что смоделировано,
* что гипотетично,
* что допущено,
* что является лишь парадигмой или конвенцией,
* и что не может быть честно классифицировано только из предоставленного текста.
Ты никогда не повышаешь claim выше того, что оправдывает предоставленный текст.
При сомнении классифицируй как:
> **Level 0 — UNCLASSIFIED / REQUIRES VERIFICATION**
---
## Primary Purpose
Это не summary-инструмент.
Это **pre-review epistemic audit layer** для научных и claim-heavy текстов.
Используй его для обнаружения:
1. гипотез, выданных за факты;
2. моделей, выданных за теории;
3. принципов или допущений, использованных как доказательство;
4. математических результатов, трактуемых как физическая истина без empirical bridge;
5. внешнего evidence, подразумеваемого но не показанного;
6. category errors;
7. evidence gaps;
8. hallucination risks;
9. domain violations;
10. непоследовательной классификации между похожими claims.
Итоговый вывод должен позволять другому читателю проверить каждую классификацию по точным source spans.
---
## Relationship to This Project's Epistemics Stack
Этот скилл аудирует **уже написанный текст** (чужую статью, claim, отчёт) — read-only классификация существующих утверждений. Он **не проектирует и не валидирует ВАШ СОБСТВЕННЫЙ эксперимент**. Используй правильный инструмент под задачу:
| Задача | Инструмент |
|---|---|
| Классифицировать claims в уже написанном тексте (этот скилл) | `/boyko-knowledge-audit` |
| Классифицировать ВАШ СОБСТВЕННЫЙ research question до эксперимента | `estimand-ops.md` (L0 gate: Descriptive/Predictive/Causal) |
| Проверить, переживёт ли ВАШ claim фальсификацию (до/после постройки артефакта) | `falsification-ladder.md` (Micro/Standard/Full) |
| Сгенерировать и убить конкурирующие объяснения бага/феномена | скилл `hypothesis-arbiter` |
| Проаудировать конкретную маргинальную ТЕОРИЮ на numerology/naturalness bias | скилл `sabine` |
| Решить, какой epistemic-контур (дивергентный/конвергентный) применим к стадии исследования | `research-methodology.md` |
**Предупреждение о пересечении:** 9-уровневая иерархия этого скилла (Факт → Эмпирический закон → Физ.закон/Мат.теорема [3-P/3-M] → Теория → Модель → Гипотеза → Принцип → Парадигма) — это ДРУГАЯ таксономия, чем 3-way Descriptive/Predictive/Causal split из estimand-ops. Они отвечают на разные вопросы (эпистемический СТАТУС claim'а vs СТРУКТУРА research question) и не заменяют друг друга. Если аудируешь СВОЁ собственное исследование в процессе — сначала estimand-ops (классифицировать вопрос), потом этот скилл, если нужен claim-by-claim разбор черновика.
---
## Non-Negotiable Principles
### 1. Text-Only Justification Rule
Классифицируй claims, используя только evidence, присутствующее в предоставленном тексте.
Внешнее знание можно упомянуть только как:
> `[EXTERNAL KNOWLEDGE — NOT USED TO UPGRADE]`
Внешнее знание никогда не используется для повышения эпистемического уровня claim.
### 2. Downgrade Rule
Присваивай каждому claim **самый мягкий / наименее эпистемически обязывающий** уровень, оправданный evidence в тексте.
Если claim может относиться к нескольким уровням — выбирай более слабый уровень, если сильный не подтверждён напрямую.
### 3. Traceability Rule
Каждый claim обязан иметь:
* Claim ID;
* точную цитату или уравнение;
* локацию;
* классификацию;
* evidence source;
* confidence;
* downgrade reason (если применимо).
Если точную цитату дать нельзя — классифицируй как Level 0, если пользователь явно не разрешил paraphrased-анализ.
### 4. Anti-Hallucination Rule
Не додумывай отсутствующие эксперименты, доказательства, цитаты, репликации, датасеты или деривации.
Если текст подразумевает evidence, но не предоставляет его, помечай:
> `Hallucination risk: evidence implied but not present in text`
### 5. More Restrictive Rule
Когда generic-правила и domain-specific правила конфликтуют — побеждает более строгая классификация.
Указывай оба варианта классификации и объясняй, какой penalty вызвал итоговое понижение.
---
## Core Hierarchy
Иерархия идёт от самого твёрдого к самому мягкому эпистемическому статусу. Полные критерии, примеры и оговорки по каждому уровню — `references/hierarchy-details.md`; читай его перед первым аудитом или при пограничной классификации. Ниже — компактная шпаргалка для быстрой сверки во время разбора.
| Level | Название | Определение (1 строка) | Level 3+ gate |
|---|---|---|---|
| 0 | UNCLASSIFIED / REQUIRES VERIFICATION | Нельзя честно классифицировать только из текста — дефолт при недостатке evidence | — |
| 1 | Empirical Facts / Data | Воспроизводимое наблюдение/измерение — ЧТО, не ПОЧЕМУ | — |
| 2 | Empirical Laws / Regularities | Стабильная корреляция/зависимость без установленного в тексте механизма | — |
| 3-P | Physical / Empirical Fundamental Laws | Универсальная зависимость, верифицированная широко, с явными границами применимости | **да — Step 5.7** |
| 3-M | Mathematical Theorems (in an axiomatic system) | Доказанный claim внутри явной/неявной формальной системы | **да — Step 5.7** |
| 4 | Theories | Объяснительный фреймворк, объединяющий законы/механизмы/модели | **да — Step 5.7** |
| 5 | Models | Конкретная реализация теории с фиксированными параметрами/допущениями | — |
| 6 | Hypotheses | Правдоподобный testable claim без решающего подтверждения в тексте | — |
| 7 | Principles / Postulates / Axioms | Фундаментальное допущение, не доказанное внутри системы | — |
| 8 | Paradigms | Неявный community-фреймворк того, что считается валидным вопросом/методом | — |
**Важнейшие различения** (полные формулировки — в reference-файле): Level 1 ≠ универсальный закон (это факт об этом конкретном бенчмарке/испытании); Level 3-P ≠ Level 3-M (физический закон ≠ математическая теорема — без empirical bridge теорема не становится законом); Level 4 ≠ "новый предложенный фреймворк" (без community-тестирования — обычно Level 6); Level 7 — не evidence (принцип, использованный как доказательство, = category error).
**⚠ Level 3+ gate:** любой claim, классифицированный как Level 3-P, 3-M, или 4, ОБЯЗАН пройти Step 5.7 (Adversarial Downgrade Check) — см. Decomposition Algorithm ниже.
---
## Domain Modes
5 доменных режимов (Physics/Cosmology, Mathematics, Biology/Medicine, CS/ML, Social Sciences) с domain-specific правилами понижения — читай `references/domain-modes.md` перед Step 7 (Domain-Specific Validation).
---
## Evidence Source Labels
| Label | Значение |
|---|---|
| `IN_TEXT_DIRECT` | Evidence напрямую присутствует в тексте |
| `IN_TEXT_INDIRECT` | Текст даёт частичную/косвенную поддержку |
| `EXTERNAL_NOT_USED_TO_UPGRADE` | Внешнее знание существует/известно, но не используется для повышения |
| `MIXED_DOWNGRADED` | Текст и внешнее знание расходятся; итоговый уровень основан на тексте |
| `NONE` | Поддерживающего evidence не предоставлено |
| `PARAPHRASED_REQUIRES_VERIFICATION` | Точный span недоступен |
---
## Confidence Levels
| Confidence | Значение |
|---|---|
| High | Точная цитата + прямое evidence подтверждают классификацию |
| Medium | Точная цитата есть, но evidence частичен/косвенен |
| Low | Claim расплывчат, недоподтверждён или зависит от допущений |
| Speculative | Классификация в основном inferred |
| Not classifiable | Level 0 |
### Confidence Penalty Rules
* нет точной цитаты → максимум Medium, обычно Level 0
* нет in-text evidence → максимум Low
* только внешнее evidence → повышение запрещено
* нет пути фальсификации для эмпирического claim → максимум Low
* single-author/single-study claim без репликации → максимум Low
* математический claim без доказательства или точной ссылки → Level 0 или Level 6
* широкий универсальный claim из локального evidence → понижение
---
## Decomposition Algorithm
### Step 0: Scope and Domain Setup
Идентифицируй и заяви: название/идентификатор текста; domain mode; проанализированный scope; разрешено ли внешнее знание только как контекст; полный или частичный анализ.
Если пользователь не указал домен, осторожно инферь и пометь:
> `Domain inferred — user did not specify.`
---
### Step 1: Atomic Claim Segmentation
Разбей текст на атомарные claims. Один claim = одно логически неделимое утверждение.
Правила: разделяй составные предложения; игнорируй filler, благодарности, аффилиации авторов, финансирование; сохраняй точную формулировку; присваивай ID: `C001`, `C002` и т.д.
---
### Step 2: Source Span Extraction
Для каждого claim извлеки: Claim ID; точную цитату (1–3 предложения максимум); локацию (страница, раздел, параграф, строка, уравнение, таблица, рисунок); контекст, если нужен.
Если точная цитата недоступна:
> `Paraphrased — requires verification`
и классифицируй как Level 0, если пользователь явно не разрешил более свободный анализ.
---
### Step 3: Evidence Audit
Для каждого claim спрашивай:
1. Какое evidence присутствует в этом тексте?
2. Evidence экспериментален, наблюдателен, математичен, теоретичен, статистичен или отсутствует?
3. Даёт ли текст достаточно деталей для верификации claim?
4. Заявлена ли независимая верификация в тексте?
5. Что бы фальсифицировало claim?
6. Зависит ли claim от незаявленных допущений?
7. Не протаскивается ли внешнее знание?
8. Не подразумевает ли автор evidence, которого не показал?
---
### Step 4: Epistemic Classification
Присваивай самый мягкий оправданный уровень.
Используй: Level 0 если evidence отсутствует; Level 1 для локальных наблюдений/данных; Level 2 для эмпирических регулярностей/корреляций; Level 3-P для физических/эмпирических законов; Level 3-M для математических теорем; Level 4 для зрелых объяснительных теорий; Level 5 для конкретных моделей; Level 6 для гипотез/конъектур; Level 7 для принципов/постулатов/аксиом; Level 8 для парадигм.
Всегда указывай downgrade reason, если заявленный статус отличается от итогового.
Это назначение — ПЕРВИЧНОЕ ("candidate level"), не окончательное для claims Level 3+. Окончательный уровень для них определяется после Step 5.7.
---
### Step 5: Cross-Reference Check
Проверь: опираются ли claims уровня 3+ на эмпирические основания 1–2 уровня или доказательные основания Level 3-M? Не протащены ли гипотезы как факты? Не поданы ли модели как теории? Не использованы ли принципы как evidence? Не трактуются ли парадигмы как законы? Не трактуются ли математические теоремы как физические законы? Не обобщены ли локальные наблюдения за пределы своей области?
---
### Step 5.5: Level Consistency Pass
После первичной классификации пересмотри все claims на предмет classification drift.
Группируй claims по сопоставимой evidence-структуре, например: все результаты бенчмарков; все causal claims; все claims-теоремы; все предложенные механизмы; все наблюдательные корреляции; все предсказания моделей; все claims "предыдущая работа показывает"; все допущения.
Для каждой группы:
1. Проверь, получили ли похожие claims одинаковый уровень.
2. Если нет — объясни почему.
3. Если принципиальной причины нет — нормализуй уровень вниз.
4. Зафиксируй корректировку в выводе.
Для текстов с более чем 30 claims этот шаг обязателен.
---
### Step 5.7: Adversarial Downgrade Check (mandatory for Level 3+)
**WHY this step exists (added v3.1):** без него `classification_appropriateness_rate`
в Deterministic Scoring ниже проверяет только "применил ли я свой же Step 4 правило
к себе" — это почти тавтология, потому что Step 4 УЖЕ инструктирует присваивать
"самый оправданный уровень". Этот шаг даёт метрике настоящую adversarial-цель.
Для КАЖДОГО claim, классифицированного на Step 4 как Level 3-P, Level 3-M, или
Level 4 (claims, делающие самую тяжёлую эпистемическую работу):
1. Прими роль скептика, чья задача — доказать, что claim заслуживает БОЛЕЕ НИЗКОГО
уровня. Используй ТОЛЬКО текст (без upgrade из внешнего знания, симметрично
правилу #1).
2. Найди сильнейший downgrade-аргумент: отсутствует ли точная цитата за пределами
голого утверждения? Является ли это background-допущением автора, а не claim'ом
ЭТОГО текста? Отсутствует ли набросок доказательства/деривации?
3. Два исхода:
- **Downgrade succeeds** → понизь уровень, запиши причину в Downgrade Reason.
- **Downgrade fails** на своей же логике → уровень выживает. Запиши отклонённый
аргумент как `adversarial_check: attempted, rejected` для этого claim.
**Tie-breaker rule (added after v3.1 testing found this ambiguous — two independent
audits of the same text diverged without it):** claim упоминает канонический,
community-uncontested результат из примеров `references/hierarchy-details.md`
(например, "уравнения Максвелла", "законы термодинамики")? Если ДА и claim не
является собственным, оспариваемым результатом ЭТОГО текста — downgrade-аргумент
"нет деривации" ОТКЛОНЯЕТСЯ по умолчанию (claim выживает, `confidence` не выше
Medium, поскольку сам текст деривацию не даёт); внешнее знание не используется для
ПОВЫШЕНИЯ, но литературный факт "это общепризнанный закон" — не upgrade, а просто
признание, что claim не новый и не оспариваемый. Если claim НОВЫЙ, оспариваемый,
или из этого же текста впервые вводимый (не упомянутый как готовый canonical
результат) — downgrade-аргумент "нет деривации" ПРИМЕНЯЕТСЯ полной силой, без
исключения.
**Context Asymmetry (усиление, опционально но рекомендовано):** если доступен второй
проход (отдельный вызов модели или отдельный промпт) — этот шаг сильнее, если
скептик получает ТОЛЬКО claim + точную цитату, БЕЗ reasoning этого аудита. Тот же
принцип, что в skeptic/DDD-протоколе этого проекта (context asymmetry устраняет
agreeableness bias).
Пример полного прогона этого шага — `references/worked-example.md`, "Second Worked
Example".
---
### Step 6: Uncertainty Mapping
Для каждого claim присвой:
| Измерение | Требуемое значение |
|---|---|
| Confidence | High / Medium / Low / Speculative / Not classifiable |
| Evidence source | IN_TEXT_DIRECT / IN_TEXT_INDIRECT / EXTERNAL_NOT_USED_TO_UPGRADE / MIXED_DOWNGRADED / NONE |
| Evidence strength | Direct experimental / Observational / Statistical / Mathematical proof / Proof sketch / Theoretical consistency / Expert assertion / None |
| Falsifiability | Currently testable / Future testable / In principle untestable / Not even wrong / Not applicable |
| Community consensus | Universal / Majority / Contested / Minority / Single author / Not stated |
| Scope | Universal / Domain-limited / Dataset-specific / Population-specific / Model-specific / Unknown |
### Precedence Rule
Если domain-specific правила и generic confidence-правила расходятся:
1. укажи оба кандидат-варианта классификации;
2. примени более строгий;
3. объясни triggering downgrade.
Пример:
> Кандидат generic: Level 1 benchmark fact.
> Кандидат CS-domain: Level 1 только для Dataset X, не общее превосходство модели.
> Итог: Level 1 dataset-specific fact; более широкий claim понижен до Level 6.
---
### Step 7: Domain-Specific Validation
Применяй выбранный domain mode из `references/domain-modes.md`. Отчитывайся только по релевантной секции.
---
### Step 8: Critical Synthesis
Идентифицируй: category errors; evidence gaps; unstated assumptions; circular reasoning; domain violations; hallucination risks; upgrade candidates; claims, требующие внешней верификации; level consistency проблемы; сильнейшие и слабейшие части работы.
---
## Deterministic Scoring
Не присваивай overall epistemic rigor score интуитивно. Вычисляй.
### Required Metrics
```text
total_claims = общее число атомарных claims
traceability_rate =
claims с точной цитатой и локацией / total_claims
in_text_evidence_rate =
(claims с IN_TEXT_DIRECT или IN_TEXT_INDIRECT evidence
ИЛИ claims явно помеченные как без evidence) / total_claims
classification_appropriateness_rate =
(claims, чей STEP 4 CANDIDATE level был НИЖЕ Level 3 (и оправдан по Step 4)
+ claims, чей STEP 4 CANDIDATE level был Level 3+ И ПЕРЕЖИВШИЕ Step 5.7)
/ total_claims
WHY "candidate level", not "final level" (disambiguated after v3.1 testing found
this genuinely ambiguous): a claim downgraded by Step 5.7 (Level 3-M candidate ->
Level 0 final) does NOT retroactively count in the "below Level 3" bucket just
because its final level ended up below 3 -- it counts in NEITHER bucket. A
downgrade at Step 5.7 means the ORIGINAL Step-4 classification attempt was
inappropriate, which is exactly what this metric is measuring. Bucket membership
is decided once, by the Step 4 candidate level, before any downgrade.
category_error_rate =
category_errors_found / total_claims
consistency_rate =
claims, прошедшие Level Consistency Pass / общее число сопоставимых claims
```
Если сопоставимых групп claims нет:
```text
consistency_rate = 1.0
```
**WHY `classification_appropriateness_rate` changed in v3.1:** до этого метрика
проверяла лишь "уровень соответствует Step 4" — но Step 4 сам ЗАДАЁТ, каким должен
быть "оправданный" уровень, так что метрика почти всегда была близка к 1.0, ничего
реально не измеряя. Теперь claims Level 3+ должны ПЕРЕЖИТЬ Step 5.7, прежде чем
засчитываются как "appropriate" — см. второй Worked Example для конкретного случая,
где это меняет итоговый score.
### Overall Epistemic Rigor Formula
```text
rigor_score = 10 × (
0.30 × traceability_rate +
0.25 × in_text_evidence_rate +
0.20 × classification_appropriateness_rate +
0.15 × (1 − category_error_rate) +
0.10 × consistency_rate
)
```
Округляй до одного знака после запятой.
**⚠ WHY these weights, and what rigor_score does NOT mean (added v3.1):** веса
(0.30/0.25/0.20/0.15/0.10) — это ДИЗАЙН-РЕШЕНИЕ (traceability и in-text evidence
весят больше всего, потому что они объективно проверяемы; category errors и
consistency весят меньше, потому что требуют суждения), а НЕ откалиброванная
константа из размеченного датасета или inter-rater agreement. Это ровно тот
паттерн, который сам скилл учит ловить ("математическая элегантность как
evidence") — применённый к своей же формуле. Поэтому:
* Маркируй rigor_score как `[HEURISTIC]` в выводе, не как валидированную метрику.
* Используй его для ОТНОСИТЕЛЬНОГО сравнения между текстами, аудированными в ОДНОМ
прогоне — не как абсолютное внешне-валидированное число.
* НЕ докладывай rigor_score человеку так, будто это калиброванная точность.
Перекалибровка весов против реальных inter-rater данных — future work, ещё не
сделано здесь.
### Hardness Index
Вычисляй отдельно:
```text
hardness_index =
(Level 1 + Level 2 + Level 3-P + Level 3-M claims) / total_claims
```
Важно: высокий rigor не требует много hard claims. Теоретический текст может быть rigorous, содержа в основном Level 5–7 claims, если честно их так и маркирует. Hardness измеряет, сколько текста — hard evidence или доказательство. Rigor измеряет, честен ли текст и traceable ли он в своём эпистемическом статусе.
---
## Output Format
```markdown
## Boyko Knowledge Audit: [Title / Identifier]
**Domain Mode**: [Mode]
**Date of Analysis**: [YYYY-MM-DD]
**Text Scope**: [Full paper / Abstract / Section / Chapter / Excerpt]
**Analysis Type**: [Full / Partial / Triage]
**External Knowledge Policy**: External knowledge may be noted but not used to upgrade claims.
---
## Executive Summary
- **Total claims identified**: [N]
- **Hardest justified claim**: [Level X — Claim ID]
- **Softest claim presented as hard**: [Claim ID — presented as X, justified as Y]
- **Overall epistemic rigor**: [score]/10 `[HEURISTIC]`
- **Hardness index**: [0.00]
- **Primary weakness**: [category error / evidence gap / unstated assumption / domain violation / hallucination risk]
- **Claims requiring external verification**: [N]
- **Unclassified claims**: [N]
---
## Claim Inventory
| ID | Exact quote | Location | Presented as | Final level | Evidence source | Confidence | Adversarial check | Downgrade reason |
|---|---|---|---|---|---|---|---|---|
(Adversarial check column: `n/a — below Level 3` / `survived` / `downgraded`.)
---
## Epistemic Inventory by Level
[10 секций, по одной таблице на КАЖДЫЙ отдельный label: 0, 1, 2, 3-P, 3-M, 4, 5, 6, 7, 8 — не 8, т.к. 3-P и 3-M два разных label, не один "Level 3"]
---
## Critical Findings
1. Category Errors
2. Evidence Gaps
3. Unstated Assumptions
4. Circular Reasoning
5. Domain Violations
6. Hallucination Risks
7. Level Consistency Pass
8. Adversarial Downgrade Results (Level 3+ claims: survived vs downgraded)
9. Upgrade Candidates
---
## Domain-Specific Notes
[Только выбранный domain mode — см. references/domain-modes.md]
---
## Scoring Calculation
[Все метрики + формула + итоговый rigor_score `[HEURISTIC]` + hardness_index]
---
## Recommendations
- Clarify as / Strengthen by / Test by / Acknowledge / Verify externally / Reduce risk by
---
## Metadata
[Таблица: total claims, разбивка по уровням, category errors, evidence gaps, hallucination risks, % с source span, % с in-text evidence, % Level 3+ claims survived adversarial check]
```
---
## Red Flags and Auto-Downgrade Rules
Автоматически понижай/флагируй при использовании: "clearly" / "очевидно"; "obviously"; "naturally" / "естественно"; "как хорошо известно"; "предыдущая работа показала" без деталей; "следует что" без деривации; "мы знаем что" для неверифицированных claims; математическая элегантность как физическое evidence; успех модели как доказательство теории; корреляция как причинность; результат бенчмарка как claim об общем интеллекте; животная/in vitro находка как human clinical факт; теорема как эмпирический закон; согласованность как доказательство; принцип как evidence; парадигма как закон.
---
## Worked Examples
Два полных примера с расчётом — читай `references/worked-example.md`:
1. CS/ML excerpt без Level 3+ claims (адверсариальный check не срабатывает, показывает базовый разбор).
2. Physics excerpt С Level 3+ claims (адверсариальный check реально понижает уровни — показывает разницу со старой, тавтологической метрикой).
---
## Usage Instructions
При вызове этого skill пользователь должен предоставить:
1. текст для разложения;
2. домен;
3. scope;
4. можно ли упоминать внешнее знание для контекста;
5. специфические concerns, если есть.
Пример вызова:
```text
/boyko-knowledge-audit на следующем абстракте.
Домен: Computer Science / Machine Learning.
Scope: только abstract.
Concern: проверить, не overgeneralized ли benchmark claims.
Внешнее знание: не использовать, кроме пометки что потребует верификации.
```
---
## Version History
### v1.0
Начальная 8-уровневая иерархия и базовое разложение.
### v2.0
Добавлено: Level 0; domain modes; source span extraction; evidence source split; confidence penalties; anti-hallucination protocol; domain-specific validation.
### v3.0 Canonical (Boyko Knowledge Audit)
Добавлено: разделение Level 3-P vs Level 3-M; детерминированная формула rigor scoring; отдельный hardness index; precedence rule для generic vs domain-specific конфликтов; обязательный Level Consistency Pass; усиленные evidence labels; worked example; явное различение rigor и claim hardness.
### v3.1
Исправлены находки скептического ревью:
- Добавлен обязательный **Step 5.7 Adversarial Downgrade Check** для claims Level 3+ — закрывает тавтологию `classification_appropriateness_rate` (метрика раньше проверяла соответствие claim'а собственному правилу Step 4, что почти всегда истинно по построению).
- **Явный caveat к весам rigor_score** — веса помечены как design-choice heuristic, не откалиброванная константа; добавлен `[HEURISTIC]` маркер в Output Format.
- **Добавлена секция "Relationship to This Project's Epistemics Stack"** — cross-reference к estimand-ops, falsification-ladder, hypothesis-arbiter, sabine, research-methodology, чтобы предотвратить дублирование/путаницу маршрутизации.
- **Progressive disclosure**: Domain Modes, Core Hierarchy (полные критерии/примеры) и Worked Example вынесены в `references/` — SKILL.md был 638 строк (нарушая конвенцию skill-creator о ~500 строках), стал 508.
- Добавлен второй Worked Example, специально демонстрирующий Step 5.7 в действии (первый пример не содержал Level 3+ claims и не показывал новый механизм).
- Добавлены `evals/evals.json` тест-кейсы.
### v3.1.1
Найдено РЕАЛЬНЫМ тестовым прогоном (Agent выполнил инструкции SKILL.md на eval #2
без доступа к answer key) — три genuine ambiguity, не гипотетические:
- **Tie-breaker rule для Step 5.7** — не было правила, как оценивать голое упоминание
канонического, community-uncontested результата (например, "уравнения Максвелла")
против "нет деривации в тексте". Два независимых прогона могли разойтись. Добавлено
явное правило: canonical + не оспариваемый claim этого текста → downgrade
отклоняется по умолчанию (confidence ≤ Medium); novel/contested claim → downgrade
применяется в полную силу.
- **`classification_appropriateness_rate`'s numerator был неоднозначен** для claim'а,
понижённого на Step 5.7: считать ли его в "below Level 3" bucket по ФИНАЛЬНОМУ
уровню (после downgrade) или ни в одном bucket по STEP 4 CANDIDATE уровню? Явно
зафиксировано: bucket membership решается ОДИН раз, по candidate level, до
downgrade — понижённый claim не считается ни в одном bucket.
- **"[8 секций]" в Output Format был фактической ошибкой** — уровней 10 (0, 1, 2,
3-P, 3-M, 4, 5, 6, 7, 8), не 8; унаследовано из до-3.0 версии, где 3-P/3-M ещё не
были разделены.
Is this your skill, or is something wrong with this listing? Request removal or report an issue. Author removals are honored within 72 hours.
No comments yet. Be the first to comment!