PRO-Judge
제10회 공개SW 개발자대회 채점 보고서
24.2/ 100
100점 만점 환산 총점
- 진단 지표다. 실제 대회 점수의 예측이 아니다.
- 추정 규칙 민감도 19.8 ~ 30.2 (추정 규칙 비중 60%, 신뢰구간 아님)
가장 먼저 고칠 것 — 다음 기준까지 바로 오르는 점수
커뮤니티로 발전가능성 +8.7점
기여 경로 문서는 있으나 외부 기여자·외부 이슈가 0건이다
가장 큰 손실 커뮤니티로 발전가능성 -18.7점
이 점수 읽는 법 · 확인할 것 2건
- 진단 지표 이 점수는 아래 점수표로 잰 상대 진단이다. 실제 대회에서 받을 점수의 예측이 아니다. 같은 점수표로 고치기 전후를 비교하는 데 쓴다.
- 보정 안 됨 역대 수상작으로 점수표를 검증하지 않았다.
총평
24.2점. 배점 75점인 2차 평가에서 거의 점수를 얻지 못했다. LICENSE가 없어 공개SW 활용성과 커뮤니티 항목이 상한에 걸렸고, 발표자료·시연 영상·배포 주소가 없어 발표 0점, 데모 20점 중 4점이다. README에 비슷한 도구 이름이 없어 독창성도 15점 중 3.5점이다. 코드 구조와 문서는 중간(5점 만점에 2.3~2.7)이다. LICENSE·CONTRIBUTING을 넣고, 기존 도구와 이름으로 비교하고, 시연 자료를 만드는 것이 먼저다.
항목별 점수
고칠 것 Top 5
다음 기준 문장(10점 척도의 5점 또는 10점)까지 올렸을 때 바로 오르는 총점 순서다. 그 문장이 자료에 생기게 만드는 것이 할 일이다. 다음 기준이 가까운 항목은 오르는 점수가 작게 나온다 — 손실이 큰 항목은 맨 위 '가장 큰 손실'을 함께 본다.
1
커뮤니티로 발전가능성10점 척도 0.7 → 5 · 만점까지 최대 +18.7점
+8.7점- 해제 조건
- LICENSE 파일, CONTRIBUTING 문서나 이슈 템플릿, 대회 기간 전체에 걸친 커밋 이력이 있어야 넘는다
- 심사위원이 적용한 상한
- no-license
- 다음 기준 문장 — 이 문장이 자료에 생기게 만든다
- 기여 경로 문서는 있으나 외부 기여자·외부 이슈가 0건이다
2
작품 데모10점 척도 2.0 → 5 · 만점까지 최대 +16.0점
+6.0점- 해제 조건
- 시연 영상(3분) 또는 단계별 시연 시나리오가 제출돼야 넘는다
- 심사위원이 적용한 상한
- no-demo-material
- 다음 기준 문장 — 이 문장이 자료에 생기게 만든다
- 실행물은 있으나 시연 영상·시나리오가 없거나 핵심 기능 중 일부만 동작한다
3
작품 발표10점 척도 0.0 → 5 · 만점까지 최대 +10.0점
+5.0점- 해제 조건
- 발표자료(PPT/PDF) 또는 발표 영상이 제출돼야 넘는다
- 심사위원이 적용한 상한
- no-deck
- 다음 기준 문장 — 이 문장이 자료에 생기게 만든다
- 발표자료는 있으나 문제 규모나 결과에 숫자가 없다
4
독창성10점 척도 2.3 → 5 · 만점까지 최대 +11.5점
+4.0점- 해제 조건
- 비슷한 기존 도구 2개 이상을 이름으로 들어 비교표를 두고, 차별 기능이 코드에서 확인돼야 한다
- 심사위원이 적용한 상한
- no-specifics
- 다음 기준 문장 — 이 문장이 자료에 생기게 만든다
- 차별점을 말하지만 비교한 기존 도구 이름이 없다
5
코딩의 적절성 및 구조의 합리성10점 척도 5.3 → 10 · 만점까지 최대 +2.3점
+2.3점- 다음 기준 문장 — 이 문장이 자료에 생기게 만든다
- 모듈마다 책임이 한 문장으로 설명되고 복사된 코드가 없으며 에러 처리 방식이 한 가지다
- 해제 조건
- 공통 코드를 skill마다 복사하지 않고 한 곳에서 참조하거나, 복사 방식을 택한 이유와 버린 대안을 문서로 밝히면 7점 이상을 검토한다
확인한 자료와 빈칸
| 출처 | 어디서 | 어떻게 | 신뢰 | 상태 |
|---|---|---|---|---|
| 저장소 | https://github.com/Cassiiopeia/pro-judge/tree/34f4e42 | repo_facts.py — 커밋·작성자·라이선스·테스트·CI, README 전문 | 팀 자료 | 확인함 (웹 검색은 하지 않음 — 공개 전 시점이라 외부 자료가 없다) |
| 파일 | skills/pro-judge-score/SKILL.md, shared/scripts/aggregate.py | 파일 원문을 target/에 복사 | 팀 자료 | 확인함 |
| 사용자 | 팀 확인 | 발표자료·시연 영상·배포 주소를 물음 | 사용자 진술 | 확인함 |
못 본 것 — 점수표가 요구하는 근거 중 자료에서 찾지 못한 것. 이 항목의 점수는 자료를 넣으면 달라질 수 있다.
- 코딩의 적절성 및 구조의 합리성 — 인용 근거를 자료에서 찾지 못함
- 코드의 완성도 및 시연가능성 — 시연·관찰 근거를 자료에서 찾지 못함
- 개발 문서의 구체성 — 관찰 근거를 자료에서 찾지 못함
- 기능테스트 결과 — 시연 근거를 자료에서 찾지 못함
- 작품 발표 — 인용 근거를 자료에서 찾지 못함
- 공개SW 활용성 — 고유명사·인용 근거를 자료에서 찾지 못함
- 독창성 — 인용·관찰 근거를 자료에서 찾지 못함
- 커뮤니티로 발전가능성 — 관찰 근거를 자료에서 찾지 못함
- 작품 데모 — 관찰 근거를 자료에서 찾지 못함
없다고 확인된 것
- 작품 발표: 시연 — 사용자: 발표자료(PPT·PDF) 없음
- 작품 데모: 시연 — 사용자: 시연 영상·배포 주소 없음
- 커뮤니티로 발전가능성: 고유명사 — CONTRIBUTING·이슈 템플릿·외부 기여자 없음
- 독창성: 고유명사 — README에 비슷한 도구 이름을 댄 비교 없음
편차 경보
- 공개SW 활용성: 심사위원 사이 3점 차이
- 작품 데모: 심사위원 사이 3점 차이
회차마다 흔들린 항목
- (없음)
공통 약점 (모델 2종 이상, 전원 5점 이하)
- 코드의 완성도 및 시연가능성
- 작품 발표
- 공개SW 활용성
- 독창성
- 커뮤니티로 발전가능성
- 작품 데모
항목별 근거
| 항목 | 득점 / 배점 | 심사위원별 | 상한 | 인용 | 변화 |
|---|---|---|---|---|---|
| 코딩의 적절성 및 구조의 합리성 | 2.67 / 5 | 학계 심사위원 6, 오픈소스 커뮤니티 대표 심사위원 5, 산업계 개발자 심사위원 5 | - | `skills/*/shared/`는 생성물이다. 직접 고치지 말고 `shared/`를 고친다. | - |
| 코드의 완성도 및 시연가능성 | 2.33 / 5 | 학계 심사위원 5, 오픈소스 커뮤니티 대표 심사위원 4, 산업계 개발자 심사위원 5 | - | python3 -m pytest # 테스트 | - |
| 개발 문서의 구체성 | 2.67 / 5 | 학계 심사위원 6, 오픈소스 커뮤니티 대표 심사위원 5, 산업계 개발자 심사위원 5 | - | python3 $SKILL/shared/scripts/aggregate.py <런 폴더> --target "<대상 한 줄 설명>" | - |
| 프로젝트 수준 | 2.67 / 5 | 학계 심사위원 6, 오픈소스 커뮤니티 대표 심사위원 5, 산업계 개발자 심사위원 5 | - | 같은 입력이면 같은 숫자가 나와야 하므로 점수 계산은 전부 여기서 한다. | - |
| 기능테스트 결과 | 2 / 5 | 기능테스트 검증 담당 4 | claim-not-verified | (인용 없음) | - |
| 작품 발표 | 0 / 10 | 학계 심사위원 0, 오픈소스 커뮤니티 대표 심사위원 0, 산업계 개발자 심사위원 0 | no-deck | (인용 없음) | - |
| 공개SW 활용성 | 3 / 10 | 학계 심사위원 4, 오픈소스 커뮤니티 대표 심사위원 1, 산업계 개발자 심사위원 4 | no-license | npx skills add Cassiiopeia/pro-judge | - |
| 독창성 | 3.5 / 15 | 학계 심사위원 3, 오픈소스 커뮤니티 대표 심사위원 1, 산업계 개발자 심사위원 3 | no-specifics | 한 줄짜리 기준도 판정 질문·0/5/10 앵커·상한 규칙을 갖춘 점수표로 펼치고, | - |
| 커뮤니티로 발전가능성 | 1.33 / 20 | 학계 심사위원 1, 오픈소스 커뮤니티 대표 심사위원 0, 산업계 개발자 심사위원 1 | no-license | (인용 없음) | - |
| 작품 데모 | 4 / 20 | 학계 심사위원 3, 오픈소스 커뮤니티 대표 심사위원 0, 산업계 개발자 심사위원 3 | no-demo-material | (인용 없음) | - |
심사위원별 총평
학계 심사위원
모델 opus
총점은 낮습니다. 독창성 15점 항목에서 비교한 기존 도구 이름이 하나도 없고, 설계 이유·대안 비교·정량 평가 숫자가 문서에 없습니다. LICENSE가 없어 공개SW 활용성과 커뮤니티 항목이 상한에 걸리며, 커밋 16개가 모두 2026-10-08 하루, 작성자 1명이고 발표자료·시연 영상도 없습니다.
오픈소스 커뮤니티 대표 심사위원
모델 sonnet
LICENSE가 없습니다. 이 파일 어디 있나요? CONTRIBUTING과 이슈 템플릿도 없습니다. 커밋 작성자는 1명이고 16개가 모두 2026-10-08입니다. 그래서 커뮤니티 항목은 0점이고 활용성은 1점입니다. 발표자료와 시연 영상, 배포 주소도 없어서 발표와 데모는 0점입니다. 구조와 문서는 중간 수준입니다. 이슈 한 건 없이 대회 뒤 누가 답할지도 적혀 있지 않아, 지금은 공개된 코드일 뿐 오픈소스 프로젝트로 보기 어렵습니다.
산업계 개발자 심사위원
모델 sonnet
총점은 낮습니다. 시연 영상·발표자료·LICENSE·CONTRIBUTING이 없고, 테스트 통과 수와 CI 결과도 원문에 없습니다. README에 설치·실행 명령과 테스트 명령(python3 -m pytest)은 있지만 돌려 본 숫자가 없어 5점입니다. 테스트 통과 수, 시연 영상, LICENSE가 있으면 각각 7점 이상이 됩니다.
기능테스트 검증 담당
모델 haiku
기능테스트 항목은 실행 결과가 원문에 없어 확인하지 못했습니다. 이 회차는 코드·테스트를 실행하지 않았고, 원문에는 테스트 파일 20개와 README의 실행 명령(python3 -m pytest)만 있습니다. 확인 불가 대상이므로 claim-not-verified 상한 4점을 적용합니다.
부록
추정(inferred) 규칙 — 공고에 없어 에이전트가 정한 것
- evaluator_groups(verification): 제10회 문서는 기능테스트를 '발표 평가 전 별도 진행'으로만 적고 수행 주체가 없다. 2026 공고의 '전문 검증기관' 표현을 따라 별도 그룹으로 뒀다
- items[code-structure] 질문 '모듈·파일이 책임 단위로 나뉘어 있고 중복이 없는가': 구조의 합리성은 책임 분리와 중복으로 관찰된다
- items[code-structure] 질문 '코드 규칙(이름·주석·에러 처리)이 레포 전체에서 일관된가': 코딩의 적절성을 관찰 가능한 일관성으로 바꿨다
- items[code-completeness] 질문 'README 절차만으로 외부인이 설치·실행할 수 있는가': 시연가능성의 1차 근거는 재현 가능한 실행 절차
- items[code-completeness] 질문 '자동 테스트가 있고 통과하는가': 완성도를 숫자로 확인할 수 있는 근거
- items[code-completeness] 상한 no-run-instructions(4): 실행 절차가 없으면 심사위원이 시연가능성을 확인할 방법이 없다
- items[doc-specificity] 질문 '설계·구조·사용법이 문서로 있는가': 프로젝트 Document가 1차 제출물이다
- items[doc-specificity] 질문 '문서에 숫자·명령·파일 경로처럼 따라 할 수 있는 내용이 있는가': 구체성은 따라 할 수 있는 내용의 양으로 관찰된다
- items[project-level] 질문 '기술적 난이도가 있는 부분이 무엇이고 그것이 동작하는가': 수준은 어려운 문제를 실제로 풀었는지로 판단된다
- items[project-level] 질문 '규모(코드량·기능 수·커밋 기간)가 숫자로 드러나는가': 수준 비교는 숫자로만 가능하다
- items[function-test] 질문 '명시된 기능을 테스트 절차대로 돌렸을 때 통과하는가': 기능테스트는 명시 기능 대비 통과 여부
- items[function-test] 질문 '실패·예외 입력에서 오류 메시지가 나오는가': 검증기관 테스트는 예외 경로도 본다
- items[presentation] 질문 '10분 안에 문제·해결·결과를 숫자와 함께 전달하는가': 발표 10분 + Q&A 5분 형식
- items[presentation] 질문 'Q&A에서 근거를 들어 답하는가': 15분 PT에 Q&A 5분이 포함된다
- items[presentation] 상한 no-deck(3): 발표 항목은 발표자료 없이는 평가 대상이 없다
- items[oss-usage] 질문 'OSI 승인 라이선스로 공개되어 있는가': 공개SW의 전제 조건
- items[oss-usage] 질문 '다른 사람이 가져다 쓸 수 있는 단위(라이브러리·CLI·플러그인)로 나와 있는가': 활용성은 재사용 단위가 있는지로 관찰된다
- items[oss-usage] 질문 '사용한 오픈소스 의존성과 그 라이선스를 밝히는가': 라이선스 검증(분석보고서)이 대회 절차에 있다
- items[oss-usage] 상한 no-license(4): 라이선스 없는 코드는 재사용이 불가능해 오픈소스로 볼 수 없다
- items[originality] 질문 '기존 도구 이름을 들고 무엇이 다른지 밝히는가': 독창성은 비교 대상이 있어야 판단된다
- items[originality] 질문 '그 차이가 코드에 실제로 구현돼 있는가': 주장만 있는 차별점은 의도다
- items[community-potential] 질문 '외부 기여자가 첫 PR을 보낼 경로(CONTRIBUTING·이슈 템플릿·테스트 방법)가 있는가': 커뮤니티의 입구는 기여 경로
- items[community-potential] 질문 '이미 외부 사용자·기여자·이슈가 있는가': 발전가능성의 가장 직접적인 근거는 현재 참여자 수
- items[community-potential] 질문 '대회 뒤 누가 유지보수하는지 밝히는가': 유지 주체가 없으면 커뮤니티가 자라지 않는다
- items[community-potential] 상한 no-contribution-path(6): 외부 기여 경로가 없으면 공개된 코드일 뿐 오픈소스 프로젝트가 아니다
- items[community-potential] 상한 no-license(4): 라이선스 없이는 외부인이 법적으로 기여·재사용할 수 없다
- items[community-potential] 상한 last-minute-commits(6): 일괄 커밋은 공개 개발 과정이 없었다는 신호다
- items[demo] 질문 '핵심 기능을 실제 입력으로 시연하는가': 데모는 실제 동작으로만 확인된다
- items[demo] 질문 '시연 결과를 심사위원이 재현할 수 있는가': 재현 불가한 데모는 녹화본과 같다
- items[demo] 상한 no-demo-material(5): 1차 제출물에 시연 동영상이 필수로 들어 있다
실행 정보
- 학계 심사위원: 모델 opus, 독립 실행 예
- 오픈소스 커뮤니티 대표 심사위원: 모델 sonnet, 독립 실행 예
- 산업계 개발자 심사위원: 모델 sonnet, 독립 실행 예
- 기능테스트 검증 담당: 모델 haiku, 독립 실행 예
경고
- (없음)