Back to skills
SKILL.md
Fact Audit
BSecurity사실주장 밀도 높은 답변의 미묘한 오류를 탈상관 검증으로 잡는다. 주장 추출→검증가능(web/Crossref/DigiKey)·판단성(Gemini 이종) 분리 대조→불일치만 리포트. "팩트체크", "이거 틀린 데 없나", "사실 검증", "이 결론 미심쩍다", 또는 규격수치·물성·인과주장이 많은 답변 직후 호출.
- 7 stars
- 0 votes
- 0 copies
- 0 views
- Added September 22, 2026
Security analysis
88/100- Pipes output to a shell interpreter
npx -y skills add jsb4702-glitch/verification-harness --skill fact-audit --agent claude-codeAre you the author of Fact Audit?
Add the live security badge to your README. It updates with every re-scan.
[](https://www.skillsdirectory.com/skills/jsb4702-glitch-fact-audit)---
name: fact-audit
description: 사실주장 밀도 높은 답변의 미묘한 오류를 탈상관 검증으로 잡는다. 주장 추출→검증가능(web/Crossref/DigiKey)·판단성(Gemini 이종) 분리 대조→불일치만 리포트. "팩트체크", "이거 틀린 데 없나", "사실 검증", "이 결론 미심쩍다", 또는 규격수치·물성·인과주장이 많은 답변 직후 호출.
---
# fact-audit — 미묘한 사실오류 탈상관 검증
> ⚠️ 전제(정직): 이 skill은 환각을 **0으로 못 만든다**. 모델이 확신하며 틀린 오류 중 *외부와 대조 가능한* 부분만 잡는다. 두 모델이 같은 학습편향을 공유하면 둘 다 틀려 통과(상관오류). 안전임계는 최종적으로 1차 문헌+인간.
## 절차 (답변 송출 전 또는 사후)
1. **주장 추출**: 답변에서 반증가능한 개별 사실주장을 리스트화 (규격 Rev·수치·물성·인과·"항상/없다" 단정). 의견·정성서술 제외.
2. **분류**:
- 🔢 검증가능(외부 정답 존재) → 도구 대조: 규격/최신성=web_search, DOI/논문=`pn-verify/crossref`, 부품=`pn-verify/digikey`, 산술=Bash.
- 🧠 판단성(정답 외부에 없음·해석) → 아래 **계층형 이종검증**.
### 계층형 이종검증 (Groq + Gemini 캐스케이드)
1. **1차 스크리닝 → Groq**(`groq-review`, llama-3.3-70b, 빠름·쌈): 명백한 오류 솎기. 단 약한 모델이라 단독반박=권위 아님, "조사 플래그"로만.
2. **권위 교차검증 → agy**(`agy` 스킬 검증모드, Gemini 3.1 Pro): 안전임계 또는 1차가 플래그한 건. 더 강함. 민감건은 외부 금지 → parallel-verify sensitive:true.
3. **삼각측량**(안전임계만): Claude≠Gemini 갈리면 Groq 표로 판정. 2:1 다수 + 근거 우선.
4. **폴백**: Gemini 429/503 실패 시 Groq를 주검증자로 대체.
- 상관오류(셋 다 공유하는 오개념)는 못 잡음 → 안전임계 최종은 1차문헌+인간.
3. **대조 실행**: 각 주장을 해당 경로로 독립 확인. 자기확신 재진술 금지 — 반드시 외부 앵커.
4. **불일치 리포트**(핵심 산출물): 일치는 생략, **불일치·미검증만** 표로.
`| 주장 | 내 근거 | 외부확인 | 판정(일치/반증/미검증) | 조치 |`
5. **반증 프롬프트**(보조): 남은 판단성 주장에 "이게 틀렸다면 어디서 깨지나?" 1패스. 자기검토라 효과 제한적임을 명시.
## 출력 규율
- 불일치/미검증 0건이어도 "전부 일치"라 단정 말 것 → "외부확인된 N건 일치, 검증불가 M건"으로 표기(미검증을 일치로 위장 금지).
- 검증불가 주장은 🔴 [지식한계]로 강등. 도구 실패 시 "미검증", 날조 금지.
- 불일치 건은 `eval/verifier_disagree.md`에 적재(이종검증 ROI 추적).
## 한계 명시 (매 사용 시 1줄)
"이 감사는 외부 대조 가능한 오류만 커버. 두 모델 공통 맹점·1차문헌 미확인 영역은 잔존 — 안전임계는 전문가 확정."
## 구조화 출력 (필수 — 불일치 리포트 표 다음에 항상 포함)
```json
{
"tool": "fact-audit",
"verdict": "PASS|WARN|FAIL",
"confirmed": 0,
"unverified": 0,
"refuted": 0,
"findings": [
{"claim": "주장", "status": "confirmed|refuted|unverified", "source": "web_search|groq|gemini|bash", "detail": "근거 1줄", "severity": "INFO|WARN|ERROR"}
],
"summary": "외부확인 N건 일치, 반증 N건, 검증불가 N건"
}
```
- `verdict`: FAIL=반증 1건 이상, WARN=미검증 존재, PASS=전건 확인
- Workflow에서 이 블록으로 자동 에스컬레이션 판정
Attribution
Comments
Loading comments…
Newsletter
Get the weekly list of safe new skills, and the ones we pulled.