---

name: quality-review description: 완성된 평가보고서의 품질을 KOICA 평가품질검토 가이드라인 v2(24문항→10세부항목→100점, A~D, Pass/Non-Pass)로 심사한다. "이 평가보고서 품질을 검토해줘", "품질심사 해줘", "보고서가 잘 쓰였는지 봐줘", "Pass 되는지 봐줘"라고 요청할 때 사용한다. 사업 성패가 아니라 보고서 품질을 보는 메타 평가이며 사업 자체 평가에는 사용하지 않는다.

평가보고서 품질심사 (메타 평가)

이건 사업 평가가 아니다.

• 사업 평가(deveval:evaluate): 사업이 잘됐나? → A~F 등급
• 품질 심사(이 스킬): 평가보고서가 잘 쓰였나? → A~D 등급

사업의 성패를 다시 판단하지 않는다. 보고서가 평가를 제대로 수행·기술했는지를 본다.

호스트 호환

• deveval-root가 있으면 그 출력으로 플러그인 루트를 구한다. 없으면 호스트가 노출한 이 SKILL.md의 절대경로에 정확히 realpath(dirname(<SKILL.md 절대경로>)/../..)(또는 동등한 경로 정규화)을 적용한다. 호스트가 스킬 절대경로를 노출하지 않으면 현재 작업 폴더나 파일 검색 결과로 추측하지 말고, 루트를 확인할 수 없다고 알린 뒤 사용자에게 플러그인 루트를 요청한다. reference/, scripts/, agents/가 실제로 존재하는지 확인한다.
• Claude Code에서는 등록된 report-quality-inspector를 사용한다. Codex 등 이름 기반 평가관을 자동 등록하지 않는 호스트에서는 <root>/agents/report-quality-inspector.md를 끝까지 읽고 그 지침으로 서브에이전트를 위임한다. 서브에이전트가 없으면 같은 역할 지침을 직접 적용한다.
• 이 심사 역할은 읽기 전용이다. 일반 서브에이전트로 대체할 때도 파일을 생성·수정하지 말라고 명시한다.

절차

1. 기준 문서 경로 확보 — 위 호스트 호환 절차로 <root>를 구한다. 룰브릭은 <root>/reference/KOICA-품질검토-체크리스트.md(가이드라인 v2, 2025.6).
2. report-quality-inspector에게 위임 — 심사 대상 보고서 경로 + 룰브릭 절대경로를 전달한다.
3. 결과 정리 후 사람 인계 — 최종 품질등급은 **독립평가패널(사람)**이 확정함을 명시한다.

채점 구조

10개 세부항목, 각 우수10 / 양호8 / 다소미흡6 / 미흡4 → 100점. 부문 배점: Ⅰ 20 · Ⅱ 20 · Ⅲ 30 · Ⅳ 20 · Ⅴ 10.

| # | 부문 | 세부항목 (v2 공식 명칭) | 문항 | |:--:|:--:|------|:--:| | ① | Ⅰ | 평가 배경 및 맥락 분석의 적절성 | 1-2 | | ② | Ⅰ | 평가 설계 및 방법론의 엄밀성 | 3-6 | | ③ | Ⅱ | 데이터 수집 과정의 타당성 및 데이터 질 | 7-8 | | ④ | Ⅱ | 데이터 품질 및 검증의 적절성 | 9-10 | | ⑤ | Ⅲ | 분석방법의 적절성·평가결과 신뢰성 | 11 | | ⑥ | Ⅲ | 결과 도출의 논리성 | 12-13 | | ⑦ | Ⅲ | 근거 기반 해석의 타당성 | 14-15 | | ⑧ | Ⅳ | 평가 결론의 타당성 (등급-본문 일치 포함) | 16-18 | | ⑨ | Ⅳ | 제언의 실현 가능성 및 구체성 (SMART) | 19-20 | | ⑩ | Ⅴ | 보고서 요약 및 구조의 명확성 | 21-24 |

등급: A(90↑) / B(80~) / C(60~) = Pass / D(60 미만) = Non-Pass (v2 공식 경계 = 60점). 총평: 최소 200자(공백 제외) + 필수 4항목(주요 강점 / 감점 요인·개선 필요사항 / 향후 참고사항 / 활용성 제고 제안).

수치 정합 확인 (선택)

심사 대상 보고서에 종합점수·등급이 여러 곳(국문 요약·영문 요약·표)에 나오면, 기계적 대조를 붙일 수 있다:

deveval-consistency-check <보고서.md>

명령이 PATH에 없으면 python3 <root>/scripts/consistency_check.py <보고서.md>를 실행한다.

국문↔영문↔표 수치 불일치(예: 11.7 vs 12.7 — 국문 "24점 만점 중 N"·영문 "N points out of M" 표기 포함), 등급↔점수 괴리, a+b+c+d ≠ 종합점수 산술 오류를 결정적으로 잡아 문항 18(등급-본문 일치) 근거로 쓸 수 있다. 종료 코드: 0 통과 / 2 위반 / 3 확인 불가(통과 아님). (마크다운 텍스트가 있을 때만. PDF면 생략. 다건 묶음 평가용역이면 사업별로 잘라서 검사 — 사업별 상이 점수는 정상이다.)

규정 인용 검증 (선택)

심사 대상 보고서가 KOICA 규정·지침 조문을 인용하고 있고 oda-intelligence 커넥터가 세션에 보이면, verify_citation으로 인용 조문의 실재를 대조할 수 있다(not_found = 존재하지 않는 조문). 결과는 문항 14~15(근거 기반 해석) 또는 16~18(결론 타당성) 판단의 근거로 쓴다. KOICA 내부규정 인덱스만 대조하므로 외부 법령 인용은 이걸로 판정하지 않는다. 커넥터가 없으면 생략한다(연동 안내: 저장소 docs/oda-intelligence-integration.md).

특칙

• 입찰 **평가용역(다건 묶음)**이면 24문항이 아니라 평가용역 종합등급 산정표(별도 트랙)를 적용한다 — 용역 내 개별 사업이 1개라도 D(Non-Pass)면 Ⅰ부문 "미흡".
• 보고서를 직접 못 읽고 요약만 받았으면 확인 못 한 항목은 "정보 부족"으로 명시하고 점수를 단정하지 않는다.
• 블라인드 원칙: 평가자가 누구인지 따지지 말고 산출물만 본다.

최종 품질등급은 독립평가패널(사람)이 확정한다. AI는 근거 기반 심사 초안만 제시한다.