판정 결과 전체 표
P4 판정 표본(장 자리 1,000 · 원문 357)의 judge 비교별 · 축별 결과, 기본 품질 카드 13장, 짝 선호, 사람 검수 대체, 실측 비용 표 전부다. 표 글은 판정 문서 그대로다. 본문의 요약은 본문 2. 효과에 있다.
원자료: p4-judge-an.json · p4-bq-an.json · p4-pairpref-an.json · p4-j2-correct.json · 표 묶음
표본과 셈법
| 항목 | 값 |
|---|---|
| 자리 | (원문, 레벨(rec: 뗀 것), 등수, 장) — recent400 sample1000.py 와 같은 열쇠 |
| 표본 | c1 자리 5,292 에서 seed 20261104 로 1,000 자리 · 원문 357. 한 번 뽑아 모든 비교에 같은 자리를 쓴다(tools/sample.py → sample.json) |
| 그림 같음 | 원문 · 대치 입력 payload sha256 · 글 칸 summary sha256 이 같음 |
| 자리 상태 | c2: 새 판정 836 · ① 과 같은 그림 87 · 자리 없음 77. c2p: 새 836→576 · ① 과 같음 110 · ② 와 같음 234 · 없음 80. c1-49: 새 697 · ① 과 같음 77 · 없음 226 |
| 같은 그림 | 판정을 복제(비용 0). 운영 DB 에 쓰지 않고 집계에서만 복제 |
| ③ · ③-49 · ④ | 짝 상대와 그림 다른 장 0(P3) → 새 판정 0 · 등급 = 짝 상대 |
| judge 회차 | c1 #391 · c2 #392 · c2p #393 · c1-49 #394(업로드 #408–#411), 라벨 track:local,patch,sample:sat-l3-p4-seed20261104. 결과는 운영 읽기 전용으로 읽음 |
| 총평 규칙 | 정본(다섯 축 strict). 저장 등급과 3,102/3,102 일치 |
| A-13(메인 11/04) | ② · ②′ 에서 로컬 굽기 그림이 없는 장은 위성 쪽 실패로 보고 총평 BAD(축은 판정 있으면 그대로, 없으면 다섯 축 BAD). 표본에 걸린 장: ② 5(DO 15100942 3 · 그 밖 2) · ②′ 3. 모두 Eregion 쪽도 그림 오류로 판정이 없던 장이라 판정 없이 BAD 로 넣었다. 위성 트랙 22:14 재굽기도 모두 다시 실패(DO 특정 합성기 실패, 위성 비우기 원인 아님) → 다시 구운 그림 없음 · 이 처리 그대로 |
| 기본 품질 | 규칙 카드 7장(P2 R4 R7 R8 D2 D3 D4) = 각 회차 BQ 사슬 run sat-l3-<조건>-rule 을 표본 범위로. LLM 카드 6장(R6 D8 E1 E3 E4 E5) = run sat-l3-p4-<조건>-llm(reps 3 · webp · 동시 80). 앞 조건과 그림이 같은 단위는 그 셀 재사용(tools/units_p4.py). 범위 규칙은 recent400 units_bv38.py 와 같음 |
| 짝 선호 | 아래 절 |
judge — 비교별
| 비교 | 쌍 | 원문 | 앞 BAD | 뒤 BAD | 차이 | 구간 | 나음 · 같음 · 나쁨(뒤 기준) | 같은 그림 |
|---|---|---|---|---|---|---|---|---|
| ②−① | 923 | 347 | 23.7% | 23.0% | −0.8%p | −4.0 – +2.5 | 230 · 466 · 227 | 87 |
| ②′−① | 920 | 351 | 23.7% | 23.8% | +0.1%p | −3.1 – +3.2 | 201 · 470 · 249 | 110 |
| ②−②′ | 901 | 345 | 23.8% | 23.2% | −0.6%p | −3.3 – +2.3 | 189 · 574 · 138 | 301 |
| ④−② | 923 | 347 | 23.0% | 23.0% | 0 | 0 – 0 | 0 · 923 · 0 | 923 |
| ③−① | 1,000 | 357 | 23.2% | 23.2% | 0 | 0 – 0 | 0 · 1,000 · 0 | 1,000 |
| ③-49−①-49 | 774 | 316 | 23.5% | 23.5% | 0 | 0 – 0 | 0 · 774 · 0 | 774 |
| ①-49−① | 774 | 316 | 23.4% | 23.5% | +0.1%p | −3.8 – +4.0 | 177 · 441 · 156 | 77 |
축별 BAD
| 비교 | 구조 적합성 | 내용 대치 정확성 | 시각적 계층 구조 | 텍스트 가독성 | 디자인 완결성 |
|---|---|---|---|---|---|
| ② − ① | 5.1 → 3.9 (−1.2, −2.8 – +0.4) | 8.6 → 8.8 (+0.2, −1.9 – +2.4) | 4.3 → 3.5 (−0.9, −2.5 – +0.8) | 4.7 → 5.4 (+0.8, −1.1 – +2.7) | 12.2 → 12.8 (+0.5, −2.2 – +3.2) |
| ②′ − ① | 5.1 → 4.6 (−0.5, −2.1 – +1.0) | 8.6 → 8.4 (−0.2, −2.1 – +1.7) | 4.3 → 3.9 (−0.4, −2.1 – +1.2) | 4.6 → 5.9 (+1.3, −0.7 – +3.3) | 12.2 → 13.7 (+1.5, −1.3 – +4.2) |
| ② − ②′ | 4.7 → 3.9 (−0.8, −2.1 – +0.6) | 8.5 → 8.9 (+0.3, −1.3 – +1.9) | 4.0 → 3.6 (−0.4, −1.8 – +0.9) | 5.8 → 5.5 (−0.2, −1.9 – +1.4) | 13.5 → 12.9 (−0.7, −2.9 – +1.6) |
| ①-49 − ① | 5.0 → 4.0 (−1.0, −3.1 – +1.0) | 9.0 → 7.0 (−2.1, −4.7 – +0.4) | 4.3 → 6.8 (+2.6, +0.7 – +4.6) | 4.5 → 6.1 (+1.6, −0.5 – +3.7) | 11.5 → 12.9 (+1.4, −1.6 – +4.4) |
기본 품질 카드
결함률 = 결함 단위 / 측정된 단위. ④ = ② · ③ = ① · ③-49 = ①-49 라 표에서 뺐다(차이 0).
| 카드 | 이름 | ① | ② | ②′ | ①-49 | ②−① | ②′−① | ②−②′ | ①-49−① |
|---|---|---|---|---|---|---|---|---|---|
| P2 | core 글이 어느 자리에도 묶이지 않음 | 0.2 | 0.0 | 0.0 | 0.0 | −0.2 (−0.5 – 0.0) | −0.2 (−0.5 – 0.0) | 0 | −0.2 (−0.5 – 0.0) |
| R4 | 온전하지 않은 컴포넌트를 제공 | 6.3 | 6.3 | 5.8 | 8.7 | 0.0 (−1.5 – +1.3) | −0.5 (−1.9 – +0.6) | +0.5 (−0.2 – +1.3) | +2.4 (−0.1 – +4.9) |
| R6 | 순위 역전(짝) | 15.6 | 9.8 | 9.0 | 11.3 | −5.8 (−9.7 – −1.9) | −6.6 (−10.4 – −2.8) | +0.9 (−1.3 – +3.2) | −4.4 (−8.8 – +0.1) |
| R7 | 상위 10 안 같은 모양 중복 | 9.2 | 10.4 | 7.1 | 12.0 | +1.1 (−3.4 – +5.4) | −2.1 (−6.1 – +1.8) | +3.3 (+0.7 – +5.8) | +2.8 (−0.8 – +6.4) |
| R8 | 경계 밖 글 · 차트 · 표 후보가 상위 | 1.0 | 0.3 | 0.2 | 0.5 | −0.7 (−1.3 – −0.2) | −0.8 (−1.4 – −0.3) | +0.1 (0.0 – +0.3) | −0.5 (−1.2 – +0.2) |
| D2 | 질의 글이 결과에 없음 | 0.0 | 3.8 | 3.7 | 0.6 | +3.8 (+2.8 – +5.2) ※ | +3.7 (+2.7 – +5.1) ※ | +0.1 | +0.6 (+0.1 – +1.3) |
| D3 | 질의 글이 다른 자리에 | 0.8 | 0.7 | 1.0 | 0.6 | −0.1 (−0.6 – +0.3) | +0.1 (−0.5 – +0.7) | −0.2 (−0.5 – +0.1) | −0.3 (−0.9 – +0.6) |
| D4 | 제목 자리가 있는데 문서 제목이 빠짐 | 0.8 | 0.1 | 0.2 | 1.6 | −0.7 (−1.3 – −0.2) | −0.6 (−1.1 – −0.2) | −0.1 | +0.8 (−0.1 – +1.8) |
| D8 | 글이 상자를 벗어나거나 겹침 | 5.8 | 6.8 | 6.3 | 7.5 | +1.0 (−1.1 – +3.1) | +0.5 (−1.5 – +2.5) | +0.4 (−1.4 – +2.3) | +1.7 (−0.4 – +3.9) |
| E1 | 뜻이 보존되지 않음 | 0.5 | 15.8 | 14.7 | 1.0 | +15.3 (+11.7 – +19.2) ※ | +14.2 (+10.8 – +18.0) ※ | +1.1 (−0.8 – +3.0) | +0.5 (0.0 – +1.2) |
| E3 | 채워지지 않은 자리가 보임 | 6.4 | 5.9 | 15.7 | 5.7 | −0.5 (−2.4 – +1.4) | +9.3 (+6.8 – +11.9) | −9.8 (−12.4 – −7.4) | −0.7 (−2.9 – +1.4) |
| E4 | 글이 다 읽히지 않음 | 3.6 | 3.6 | 4.5 | 3.9 | 0.0 (−1.2 – +1.3) | +0.9 (−0.5 – +2.3) | −0.9 (−2.1 – +0.3) | +0.3 (−1.5 – +2.1) |
| E5 | 정보 구조와 순서가 흐려짐 | 11.4 | 13.7 | 12.2 | 14.0 | +2.3 (+0.4 – +4.4) | +0.8 (−1.1 – +2.6) | +1.5 (−0.6 – +3.8) | +2.6 (−0.5 – +5.7) |
※ 측정기 불일치(E1 · D2). ② · ②′ 는 질의와 대치에 컴포넌트 제목 · 부제(A-2)를 싣는데, BQ 입력(page_yaml · 질의 글 칸)에는 문서 제목만 있다. 그래서 「결과 제목이 page_yaml 제목과 다르다」가 결함으로 잡힌다. 보정(제안):
| 보정 카드 | 정의 | ① | ② | ②′ | ①-49 | ②−① | ②′−① |
|---|---|---|---|---|---|---|---|
| D2-nt | 제목 · 부제 칸(#t.) 뺀 D2 | 0.0 | 0.0 | 0.0 | 0.6 | 0 | 0 |
| E1-nt | 세 근거 중 둘 이상이 「제목」을 든 결함은 결함 아님 | 0.5 | 5.0 | 5.7 | 1.0 | +4.5 (+2.9 – +6.2) | +5.2 (+3.5 – +7.0) |
짝 선호 (가정 A-12, 신규)
- 표본: ② 대 ① · ①-49 대 ① 은 표본 1,000 자리 중 두 조건 모두 있고 그림이 다른 자리(836 · 697)에서 seed 20261104 로 200쌍. ⑤ 대 ② 는
rounds/c5/c5-vs-c2-pairs.csv전부 6쌍(원문 3 × 변형 A · B; 0e3e31d3 은 ② 쪽 두 장을 함께 보임).
| 비교(X 대 Y) | 쌍 | 원문 | X 나음 | 같음 | 갈림 | Y 나음 | (X − Y)/쌍 | 구간 |
|---|---|---|---|---|---|---|---|---|
| ② 대 ① | 200 | 153 | 92 | 17 | 40 | 51 | +20.5%p | +9.0 – +31.6 |
| ①-49 대 ① | 200 | 141 | 88 | 36 | 16 | 60 | +14.0%p | +1.6 – +25.8 |
| ⑤ 대 ② | 6 | 3 | 0 | 0 | 0 | 6 | −100%p | — |
사람 검수 대체 (에이전트 그림 판정 40장)
17 문서 7번과 같은 방식이다. J2 후보 = ② · ① 둘 다 있는 923 자리에서 judge 총평 BAD 이면서 그 장 관문 카드(P2 R4 R8 D4 D8 E1 E3 E4 E5 + 그 장 글 칸 D2 · D3)에 결함이 없는 장. A-13 장은 뺐다. seed 20261104 로 ② 30 · ① 10 을 뽑아 굽은 그림을 직접 열어 「결함 있음 / judge 오판」을 판정했다(review/j2-pick.json · review/agent-verdicts.json).
| judge BAD | J2 후보 | 본 장 | 결함 있음 | judge 오판(애매) | |
|---|---|---|---|---|---|
| ① | 219 | 111 (50.7%) | 10 | 7 | 3 (2) |
| ② | 207 | 54 (26.1%) | 30 | 23 (애매 5) | 7 (1) |
실측 비용
| 항목 | 호출 | USD |
|---|---|---|
| judge c1 1,000 (#391) | 27.25 | |
| judge c2 831 (#392) | 22.45 | |
| judge c2p 574 (#393) | 15.89 | |
| judge c1-49 697 (#394) | 19.18 | |
LLM 카드 c1 (sat-l3-p4-c1-llm) | 19,434 | 10.75 |
| LLM 카드 c2 | 16,392 | 9.15 |
| LLM 카드 c2p | 11,457 | 6.50 |
| LLM 카드 c1-49 | 13,644 | 7.53 |
| 짝 선호 ② 대 ① 200쌍 | 400 | 3.75 |
| 짝 선호 ①-49 대 ① 200쌍 | 400 | 3.71 |
| 짝 선호 ⑤ 대 ② 6쌍 | 12 | 0.11 |
| P4 합 | 126.27 | |
| P1–P3 까지(위성 · L3 트랙) | 약 5.4 | |
| 실험 누적 | 약 131.7 (상한 $200) |
해석할 때 주의 — 가정이 어느 쪽으로 기울이나
| 가정 | 내용 | 기울기 |
|---|---|---|
| A-2 | 컴포넌트 제목 · 부제를 실험용 지시문으로 덧붙임 | ② 쪽 짝 선호 · D4 이득의 출처. 같은 글 두 번 결함도 여기서 [추정] — 운영 생성 프롬프트로 바꾸면 양쪽 다 달라짐 |
| A-3 | 감점 10 · 가점 3 | ② vs ②′ 로 민감도를 쟀다(M4). 감점을 끄면 E3 +9.8%p — 감점 없이는 위성이 불리 |
| A-4 | 못 채운 위성 desc 를 비움 | E3 이 이 비움을 「빈 자리」로 볼 수 있음 → ② · ②′ 에 불리. ② 는 감점으로 상쇄 |
| A-5 · A-6 · A-8 | 현실 L3 = N1 · N2 만 · PoC 프롬프트 · 18종 어휘 | ③ · ④ = ① · ② 의 원인. L3 를 불리하게(사실상 효과 0 으로) 기울임 |
| A-7 · A-11 | 이상 L3 = 축소 합성 대리 · 45종 어휘 | ⑤ 를 크게 불리하게. 6/6 패는 대리의 한계로 읽는다 |
| A-10 · D-pool | 구판 nested DO 1,008 덧붙인 풀 | L3 에 유리하게 기울였는데도 ③ · ④ 효과 0 |
| A-12 | 짝 선호(신규 측정기) | 위치 편향 있음(A 201 · B 148). 순서 바꾸기로 막았으나 갈림 20%. judge 와 같은 계열이라 독립 측정기가 아님 |
| A-13 | ② · ②′ 그림 없는 장 = BAD | ② 에 불리(표본 5 · 3장 = BAD 약 0.5%p). 원인은 DO 특정 합성기 실패(위성 원인 아님, 위성 트랙 22:14) — 빼면 ②−① 가 약 −0.5%p 더 내려감 [추정] |
| BQ 측정기 | 제목 정답 = 문서 제목 | E1 · D2 를 ② 에 불리하게(측정 불일치). 보정 행 참고 |