Scientometric Paper Review

---
name: scientometric-paper-review
description: "계량서지학(bibliometrics·scientometrics)·정량 사회과학 실증 논문을 심화 검토하는 스킬. 데이터·측정 무결성, 준실험 식별전략(staggered DiD·소표본 추론), 추론 언어·논리 정합, 문헌·이론 토대·인용 충실성, 도메인 구성타당도·한국어 학술형식의 5축으로 위치·문제·해결을 갖춘 수정요청과 GO/조건부/재검 판정을 낸다. 서지계량·계량분석·패널·이벤트스터디·정책평가 계량·귀무결과 논문을 검토·검수·심사하거나, 인용 충실성·출처 실재성·식별전략·귀무결과 해석·구성타당도를 점검할 때 반드시 사용. 일반 정성·이론 논문의 5축 검수는 paper-review를 쓴다."
---

# 계량서지학·정량 사회과학 논문 심화 검토

정량 실증 논문 — 특히 **서지계량(bibliometrics/scientometrics)**과 **준실험 정책평가 계량**(ITS·DiD·이벤트 스터디·패널) — 이 "학술논문으로 성립하는가, 게재 가능한가"를 동료심사자의 눈으로 판정한다. 일반 5축 검수(`paper-review`)가 놓치는 **이 장르 특유의 급소**를 잡는 것이 목적이다. 계산이 정확해도(=재현되어도) 측정·식별·추론언어·문헌토대·구성타당도에서 무너지는 논문이 흔하다.

## 언제 쓰나 · paper-review와의 관계
- **이 스킬:** 데이터가 서지·계량·패널이고 인과/연관을 추정하는 논문. 서지DB(OpenAlex·Scopus·WoS·Dimensions) 기반, 준실험 설계, 귀무결과, 정책평가 계량.
- **paper-review(일반 5축):** 질적·이론·문헌 연구, 일반 사회과학. 두 스킬은 배타적이지 않다 — 정량 논문이면 이 스킬을 **주**로, 필요 시 paper-review의 한국어 교열·RQ충족 축을 **보조**로 병용한다.
- 출력·판정 형식(위치·문제·해결, [필수]/[권고], GO/조건부/재검)은 paper-review와 통일한다.

## 검토 5축 (= "꼭 봐야 할 부분")

각 축은 **점검 질문**이다. "예"면 통과, "아니오/불명"이면 [필수] 또는 [권고]로 지적한다. 계산 정확성(재현)은 **전제**일 뿐, 아래를 별도로 본다.

### 축 1. 데이터·측정 무결성
- **DB 커버리지·대표성:** 데이터 원천(OpenAlex 등) 선택 근거가 있나? DB의 국가·언어·분야 편향, 세계 총계 대비 표본의 위상이 명시됐나?
- **개념/주제 태깅 타당성:** 자동분류의 위양성·위음성, **개념 표류(concept drift)**(예: OpenAlex concepts→topics 이행), legacy 식별자 의존을 인지했나? **정밀도(precision)·재현율(recall) 표본검증**이 있나, 없으면 한계로 명시됐나?
- **계수 방식:** 전체계수(full) vs 분수계수(fractional counting)를 밝혔나? 국제공저 중복계상 민감도는? (Perianes-Rodríguez et al. 2016류 기준)
- **정규화 분모:** 정규화 지표(강도·점유율)의 **분모 정의**가 명확한가? 분모의 **vintage 불안정**(인접연도 급변)과 **소분모 불안정**(초기·소국가 비율 튐)을 진단했나?
- **결과지표 구성타당도:** 측정지표(논문 수)가 정말 개념(혁신·거버넌스 효과·영향력)을 재는가? **대리변수 간극**을 인정했나? (논문 수 ≠ 혁신 ≠ 규범적 목표 달성)
- **시계열 아티팩트:** 최근연도 **인덱싱 지체**, 종점 민감도(배율·CAGR), 커버리지의 시간적 변화를 처리·명시했나?

### 축 2. 식별전략·계량
- **가정 명시:** 평행추세, 공변충격 부재, 처치시점 외생성 — 세 가정을 진술하고 각 위협을 다뤘나?
- **Staggered DiD/TWFE 편향:** 처치시점이 엇갈리면 표준 TWFE가 **forbidden comparison·음의 가중**으로 편향된다. 최근 문헌(Goodman-Bacon 2021; Callaway & Sant'Anna 2021; Sun & Abraham 2021; de Chaisemartin & D'Haultfœuille 2020; Borusyak et al. 2024)을 **인용하고 자신의 설계를 위치**시켰나?
- **통제군:** never-treated(순수 통제군)가 있나? 없으면 계수가 "깨끗한 반사실"이 아니라 "상대 편차"임을 인정했나?
- **소표본 군집 추론:** 군집 수가 적으면(≲30) 분석적 군집 SE가 **과대기각**한다. **와일드 군집 부트스트랩**(Cameron et al. 2008) 등으로 병기·보정했나? 유의성이 SE 방식에 따라 갈리는 계수를 투명 공개했나?
- **함수형태·강건성:** 분절점 선택, 로그변환의 0값 제외 편의(→ PPML; Silva & Tenreyro 2006), 지표·표본·창(window) 강건성을 점검했나?
- **사건 정의 검증:** 처치(사건) 연도를 **출처로 검증**했나? **오지정 민감도**(잘못된 연도가 허위 유의를 만드는지)를 시연했나? — 정책사건 계량의 핵심 미덕.
- **재현성:** 문서화된 spec으로 표·그림이 **실제 재현**되나? 코드·데이터를 **DOI로 공개**했나? (재현성을 기여로 내세우면서 핵심 표가 비재현이면 기여 신뢰 붕괴)

### 축 3. 추론 언어·논리 정합
- **부재-증거 ≠ 증거-부재:** "유의한 증거 없음"을 "효과 없음/부재"로 단정하지 않았나? 검정력 한계(CI 폭)로 중소효과 배제 불가를 명시했나? (귀무결과의 최대 급소)
- **귀무 기각실패의 승격 금지:** 무관/영효과 가설의 "지지"를 대립가설 기각실패로 세우지 않았나? "정합적(consistent with)"으로 낮췄나?
- **인과 ↔ 연관 어법 일관:** "효과/때문에/이어졌다"(인과)와 "연관/동반/편차"(관찰)를 뒤섞지 않았나? 용어 규약을 1문장 선언했나?
- **단일 계수 인플레이션:** 유일 유의결과를 뒤 절(유형화·정책함의)에서 실질효과로 확장하지 않았나? 추론 취약성·역인과를 본문에 노출했나?
- **잔차적 귀인 경계:** "X 아니니 Y다"(예: 개별규제 아니니 성숙이다)식 귀인에서 **대안 공통충격**(거시충격·색인변화·국제레짐)을 배제 논증했나? 연도 FE는 공통추세를 **흡수**할 뿐 **원인 식별**은 못 함을 인정했나?
- **RQ↔결론 1:1:** 각 RQ에 명시적 답 문장이 있나? 가설별 지지/기각이 데이터에 비추어 분명한가?

### 축 4. 문헌·이론 토대·인용 충실성 ★ (이 장르 desk-reject 1순위)
- **본문 인용 밀도:** 이론적 배경·선행연구의 **모든 실증·방법 주장에 그 자리 출처**가 있나? "~한 증거가 있다/선행연구는 보고한다"에 인용 0건이면 검증 불가 → desk-reject.
- **이론틀 정박:** 가설이 "상식 명제 한 문장"이 아니라 **명시적 이론 전통 + 대표문헌**에 연결됐나? 이론에서 관측 예측을 연역했나? (사후서술 → 사전 조절가설로 승격 시 귀무결과의 이론적 함의 발생)
- **고아·유령 인용:** 참고문헌에만 있고 본문에 없는(고아), 본문에만 있고 목록에 없는(유령) 출처를 모두 제거했나? 본문↔참고문헌 1:1? (부록의 인용도 포함해 대조)
- **상대적 기여의 근거:** "공백을 메운다/선행 정성서술을 보완한다"는 주장은 그 **대상 문헌을 특정·인용**해야 성립한다. 했나?
- **참고문헌 구성:** 1차 정책·정부 문서 편중이 아니라 **학술 선행연구가 중심**인가(통상 15편+)? 투고처가 국내지면 **국문 선행연구**를, 국제지면 영문을 균형 포함했나?
- **기여 재포지셔닝:** 실제 강점(방법 시연·재현자산)과 서사 무게중심이 일치하나? 약한 프레이밍(귀무 실증)을 강한 프레이밍(방법 경고사례+실증)으로 옮길 여지는?

### 축 5. 도메인 구성타당도 + 한국어 학술형식
- **처치 구성타당도:** 이질적 개입(과학이정표·자율규제·성명·전략·직접자금)을 단일 더미로 묶지 않았나? **처치유형 척도**로 분해했나? 처치 정의에 **종속변수의 원천(공통교란)이 혼입**되지 않았나?
- **공통충격 대안해석:** 국제레짐·거시충격 등 모든 단위에 동시 작용하는 요인을 문헌·한계에서 다뤘나?
- **정책함의 절제:** 결과(예: 논문 수 불변)를 넓은 개념(혁신·규제효과)으로 등치·확장하지 않았나? 지표 범위를 넘는 규범적 판단을 삼갔나?
- **APA7·서지형식:** 본문·목록 형식 일관, 회색문헌(정부·기관)의 발행처·발행지·**URL/DOI** 구비. (사건연도 검증을 기여로 내세우면 그 출처 서지가 부실하면 자기모순)
- **용어·조판:** 핵심 용어(규제/거버넌스, 산출/활동, 지표명) 일관, 조작적 정의 명시. 표·그림 재부번·상호참조, 수식 조판, 은유·가치어·번역투 절제.

## 출처 실재성 검증 프로토콜 (환각 방지 — 이 장르의 생명선)
정량 논문의 신뢰는 인용의 실재성에 달렸다. 신규·의심 인용은 **반드시 실물로 검증**한다.
1. **`fact-verify` 스킬을 병용**한다(4-Tier 신뢰도, 재인용 체인, URL·DOI·arXiv 실존 확인, 수치·날짜 정합).
2. 검증 경로 우선순위: **구독 연구DB(Dimensions·Scopus·WoS)** → CrossRef/DOI resolver → 출판사 페이지 → Google Scholar/PubMed. 로그인 세션·API 키는 사용자가 제공하되 **평문 노출·로깅을 피하고, 다운로드는 건건이 승인**받는다.
3. 각 인용의 **저자·연도·게재지·권호·쪽·DOI**를 대조하고, **인용 수치·발견을 원문(초록/본문)과 일치**시킨다.
4. 검증 실패(부재·불일치) → **폐기·대체**. 기억만으로 서지를 지어내지 않는다. 미확보는 `[보강 필요]`로 남기되, 그것을 완성으로 간주하지 않는다(임시 부채).

## 판정 · 출력 형식
- **VERDICT:** GO(게재 가능 수준) / 조건부(대폭 수정 후) / 재검(구조적 결함).
- 지적은 **[필수]/[권고]** 등급 + **위치(§·표·행)** + **문제** + **해결(구체 수정문안/보강지시)**.
- 각 축별로 통과 항목도 1줄로 명시해(무엇이 이미 견고한지) 승인편향과 과잉지적을 방지한다.
- 계량 논문은 **"계산은 맞다"와 "논문으로 성립한다"를 분리**해 판정한다 — 재현성은 전제, 게재는 5축의 함수다.
- READ-ONLY: 검토자는 원고를 직접 수정하지 않는다. 수정은 집필자(`paper-writing`)가, 비창작성 교정은 리더가 반영.

## 이 장르의 흔한 급소 (빠른 체크)
1. 본문 인용 사실상 0건 / 이론틀 부재 → 축4
2. 부재-증거를 증거-부재로 단정(귀무결과) → 축3
3. staggered DiD 편향 문헌 무인용 → 축2
4. 처치에 과학이정표 등 종속변수 원천 혼입 → 축5
5. 소표본 군집 SE 과대기각을 방치 → 축2
6. 정규화 분모 불안정·소분모 튐을 "수렴"으로 오독 → 축1
7. 논문 수를 혁신/규제효과로 등치한 정책함의 과대해석 → 축5
8. 재현성을 기여로 내세우나 핵심 표 비재현 → 축2·축4