---
name: quality-review
description: 완성된 평가보고서의 품질을 KOICA 평가품질검토 가이드라인 v2(24문항→10세부항목→100점, A~D, Pass/Non-Pass)로 심사한다. "이 평가보고서 품질을 검토해줘", "품질심사 해줘", "보고서가 잘 쓰였는지 봐줘", "Pass 되는지 봐줘"라고 요청할 때 사용한다. 사업 성패가 아니라 보고서 품질을 보는 메타 평가이며 사업 자체 평가에는 사용하지 않는다.
---

# 평가보고서 품질심사 (메타 평가)

**이건 사업 평가가 아니다.**

- 사업 평가(`deveval:evaluate`): *사업이 잘됐나?* → A~F 등급
- **품질 심사(이 스킬)**: *평가보고서가 잘 쓰였나?* → **A~D 등급**

사업의 성패를 다시 판단하지 않는다. **보고서가 평가를 제대로 수행·기술했는지**를 본다.

## 호스트 호환

- `deveval-root`가 있으면 그 출력으로 플러그인 루트를 구한다. 없으면 호스트가 노출한 이 `SKILL.md`의 절대경로에 정확히 `realpath(dirname(<SKILL.md 절대경로>)/../..)`(또는 동등한 경로 정규화)을 적용한다. 호스트가 스킬 절대경로를 노출하지 않으면 현재 작업 폴더나 파일 검색 결과로 추측하지 말고, 루트를 확인할 수 없다고 알린 뒤 사용자에게 플러그인 루트를 요청한다. `reference/`, `scripts/`, `agents/`가 실제로 존재하는지 확인한다.
- Claude Code에서는 등록된 `report-quality-inspector`를 사용한다. Codex 등 이름 기반 평가관을 자동 등록하지 않는 호스트에서는 `<root>/agents/report-quality-inspector.md`를 끝까지 읽고 그 지침으로 서브에이전트를 위임한다. 서브에이전트가 없으면 같은 역할 지침을 직접 적용한다.
- 이 심사 역할은 읽기 전용이다. 일반 서브에이전트로 대체할 때도 파일을 생성·수정하지 말라고 명시한다.

## 절차

1. **기준 문서 경로 확보** — 위 호스트 호환 절차로 `<root>`를 구한다. 룰브릭은 `<root>/reference/KOICA-품질검토-체크리스트.md`(가이드라인 **v2, 2025.6**).
2. **`report-quality-inspector`에게 위임** — 심사 대상 보고서 경로 + 룰브릭 절대경로를 전달한다.
3. **결과 정리 후 사람 인계** — 최종 품질등급은 **독립평가패널(사람)**이 확정함을 명시한다.

## 채점 구조

10개 세부항목, 각 **우수10 / 양호8 / 다소미흡6 / 미흡4** → **100점**.
부문 배점: Ⅰ 20 · Ⅱ 20 · Ⅲ 30 · Ⅳ 20 · Ⅴ 10.

| # | 부문 | 세부항목 (v2 공식 명칭) | 문항 |
|:--:|:--:|------|:--:|
| ① | Ⅰ | 평가 배경 및 맥락 분석의 적절성 | 1-2 |
| ② | Ⅰ | 평가 설계 및 방법론의 엄밀성 | 3-6 |
| ③ | Ⅱ | 데이터 수집 과정의 타당성 및 데이터 질 | 7-8 |
| ④ | Ⅱ | 데이터 품질 및 검증의 적절성 | 9-10 |
| ⑤ | Ⅲ | 분석방법의 적절성·평가결과 신뢰성 | 11 |
| ⑥ | Ⅲ | 결과 도출의 논리성 | 12-13 |
| ⑦ | Ⅲ | 근거 기반 해석의 타당성 | 14-15 |
| ⑧ | Ⅳ | 평가 결론의 타당성 (**등급-본문 일치** 포함) | 16-18 |
| ⑨ | Ⅳ | 제언의 실현 가능성 및 구체성 (SMART) | 19-20 |
| ⑩ | Ⅴ | 보고서 요약 및 구조의 명확성 | 21-24 |

**등급:** A(90↑) / B(80~) / **C(60~) = Pass** / **D(60 미만) = Non-Pass** (v2 공식 경계 = 60점).
**총평:** 최소 200자(공백 제외) + 필수 4항목(주요 강점 / 감점 요인·개선 필요사항 / 향후 참고사항 / 활용성 제고 제안).

## 수치 정합 확인 (선택)

심사 대상 보고서에 종합점수·등급이 여러 곳(국문 요약·영문 요약·표)에 나오면, 기계적 대조를 붙일 수 있다:

```
deveval-consistency-check <보고서.md>
```

명령이 `PATH`에 없으면 `python3 <root>/scripts/consistency_check.py <보고서.md>`를 실행한다.

국문↔영문↔표 수치 불일치(예: 11.7 vs 12.7 — 국문 "24점 만점 중 N"·영문 "N points out of M" 표기 포함), 등급↔점수 괴리, `a+b+c+d ≠ 종합점수` 산술 오류를 결정적으로 잡아 문항 18(등급-본문 일치) 근거로 쓸 수 있다. 종료 코드: 0 통과 / 2 위반 / 3 확인 불가(통과 아님). (마크다운 텍스트가 있을 때만. PDF면 생략. 다건 묶음 평가용역이면 사업별로 잘라서 검사 — 사업별 상이 점수는 정상이다.)

## 규정 인용 검증 (선택)

심사 대상 보고서가 KOICA 규정·지침 조문을 인용하고 있고 `oda-intelligence` 커넥터가 세션에 보이면, `verify_citation`으로 인용 조문의 실재를 대조할 수 있다(`not_found` = 존재하지 않는 조문). 결과는 문항 14~15(근거 기반 해석) 또는 16~18(결론 타당성) 판단의 근거로 쓴다. KOICA 내부규정 인덱스만 대조하므로 외부 법령 인용은 이걸로 판정하지 않는다. 커넥터가 없으면 생략한다(연동 안내: 저장소 `docs/oda-intelligence-integration.md`).

## 특칙

- 입찰 **평가용역(다건 묶음)**이면 24문항이 아니라 **평가용역 종합등급 산정표**(별도 트랙)를 적용한다 — 용역 내 개별 사업이 1개라도 D(Non-Pass)면 Ⅰ부문 "미흡".
- 보고서를 직접 못 읽고 요약만 받았으면 **확인 못 한 항목은 "정보 부족"으로 명시**하고 점수를 단정하지 않는다.
- 블라인드 원칙: 평가자가 누구인지 따지지 말고 산출물만 본다.

> 최종 품질등급은 독립평가패널(사람)이 확정한다. AI는 근거 기반 심사 초안만 제시한다.