검증 결과
실제 수상 결과가 공개된 대회 두 곳으로 맞혀 봤다. 채점하는 심사위원에게는 수상 여부를 알려 주지 않았다.
한 줄 요약
자료로 드러나는 차이(기여 경로·라이선스·비교 대상·실증 숫자)는 잘 잡는다. 발표와 현장 시연의 인상은 보지 못한다. 수상 여부를 맞히는 도구가 아니라, 자료에서 무엇이 빠졌는지 짚는 진단 도구다.
① 2025 오픈소스 개발자대회 — 저장소 채점
우수작 정보집에는 수상작 22팀과, 본선에 올랐지만 상을 받지 못한 우수작 24팀이 GitHub 저장소와 함께 실려 있다. 상위 수상 6팀(대상·금상·은상)과 우수작 6팀(미리 정한 규칙: 목록 순서대로 저장소가 있는 첫 6팀)을 저장소만 보고 채점했다.
| 방식 | 수상팀이 우수작보다 높게 나온 쌍 |
|---|---|
| pro-judge | 29 / 36 (0.81) |
| 한 줄 프롬프트 ("심사위원처럼 채점해 줘" + 배점) | 26 / 36 (0.72) |
| 우연 | 18 / 36 (0.50) |
- 수상과 미수상을 가른 항목: 커뮤니티로 발전가능성 +2.3점, 공개SW 활용성 +1.9점, 독창성 +0.9점. 코드 구조·완성도는 0.1~0.3점 차이뿐이었다
- 틀린 쌍도 있다. fork한 저장소(Zephyr 금상작)는 팀 기여분이 안 보여 최하위로 나왔다 — 이 발견으로
repo_facts.py가 원본 대비 팀 커밋을 따로 세게 됐다 - 2차 발표 평가(발표·데모 30점)는 자료가 공개되지 않아 모든 팀이 같은 이유로 깎였다
이 레포도 같은 조건으로 채점했다. 43.8점, 13개 중 5위. 고칠 것 1순위는 독창성(+7.5점) — 비슷한 도구를 이름으로 비교하지 않았다는 지적이었다. 그래서 비슷한 도구와의 차이 페이지가 생겼다.
제10회 공개SW 개발자대회 점수표로는 첫 구현 시점 24.2점, v0.4.3 시점 54.3점이 나왔다. 오른 점수는 대부분 LICENSE·기여 경로·비교 페이지에서 나왔다. 시연 영상·발표자료가 없는 데모·발표 두 항목은 30점 중 11.3점(+7.4)에 머물렀다 — 보고서 읽는 법에서 두 보고서를 볼 수 있다.
② 2025 장애인 분야 해커톤 「장애 플러스 기술」 — 문서 채점
본선 8팀의 공개 자료집(개발제안서·개발노트·발표 PPT·실증보고서, PPT는 OCR)을 장애 현장 전문가·기술 전문가·시민평가단이 채점했다.
| 분야 | 실제 장관상 | pro-judge | 한 줄 프롬프트 |
|---|---|---|---|
| 디지털 포용 (5팀) | 센소리아 | 4위 | 4위 |
| 자립생활 지원 (3팀) | 토닥이 | 1위 (2위와 0.1점 차) | 2위 |
- 장관상 2팀 중 1팀만 맞혔다. 센소리아는 출처 있는 통계·기획 단계 인터뷰·접근성 점검이 자료에 없어 깎였다. 실제 심사는 현장 시연과 발표를 본다
- 한 줄 프롬프트는 3회 반복해도 폭이 1~4점으로 안정적이었지만 모든 팀을 69~85점에 몰아 줬다. pro-judge는 47~67점으로 벌렸다
- 수상작 한두 팀에 맞춰 점수표를 고치지 않았다. 맞추는 것이 아니라 외우는 것이 되기 때문이다