id: R6
version: 3
bundle: search
name: 순위 역전
gold: false
status: light
unit: pair
sample:
  conditions:
  - O
  - O_v10
  - a1
  - a
  - c
  scope: top10
  pair_scope: same_slot  # 칸 j 의 1위(q#j) 대 같은 칸 k위(q#j#rk). 칸이 다른 짝은 만들지 않는다
question: |
  같은 장(같은 칸)의 검색 후보 가운데 A 는 1위, B 는 k위(k = 2–10)다. 둘 가운데 자기 몫을 더 온전하게 담은 쪽은?
  - 몫: A.page_yaml 은 A 의 몫, B.page_yaml 은 B 의 몫이다. 후보마다 담을 수 있는 항목 수가 달라 두 몫이 다를 수 있다. 각 후보는 자기 몫에만 견준다. 상대 몫에 있는 항목이 이쪽 그림에 없는 것, 두 몫의 항목 수가 다른 것은 차이가 아니다. 나눠 담기나 L2 의 다른 장으로 간 항목은 어느 몫에도 없다.
  - 아래 두 축을 순서대로 본다. 앞 축에서 한쪽에만 차이가 있으면 거기서 정하고, 두 쪽이 같으면 다음 축으로 간다.
    1축 담김: 자기 몫의 항목(label, items, 표의 행과 칸 값)이 그림에서 읽히는가. 빠짐, 잘림, 다른 그림에 가림, 배경과 같은 색이라 안 읽힘은 덜 담긴 것이다. 글이 줄바꿈되거나 작아져도 읽히면 담긴 것이다. 항목을 하나씩 세어 본 뒤 정한다.
    2축 온전함(l1l2-66 정렬 키 1): 본문 자리(카드, 단계, 행, 칸 안)에 임시 문구(placeholder_table 의 문구), 원본 템플릿 글(「A항목」, 「속성 1」, 「기본 타이틀」, 「20XX년」 등), 견본 차트 · 표의 수치와 범례가 보이는가. 보이는 쪽이 덜 온전하다.
  - 다음은 보지 않는다(차이로 치지 않는다): 위성 자리(컴포넌트 제목, 부제, 설명)의 임시 문구(평가틀 47 결정 11), 페이지 제목이 있고 없음, 사진 · 일러스트 · 아이콘 · 장식, 색과 배치, 어느 쪽이 컴포넌트 유형 이름(List, HighlightedMessage 등)에 더 어울려 보이는가(R5 몫), 같은 글이 두 번 보이는 것, 몫 밖 항목이 더 있음(그것은 상대 몫일 뿐이다).
  - 답: A(1위)가 더 온전하면 first, B(k위)가 더 온전하면 second, 두 축 모두 차이가 없거나 두 쪽에 같은 정도로 있으면 similar.
  - 근거는 「A: 1축 …, 2축 … ; B: 1축 …, 2축 … ⇒ 답」 꼴로 적는다. 근거에서 더 나은 쪽이 A 이면 답은 first, B 이면 second 다.
inputs:
- page_yaml
- result_thumb
- placeholder_table
- spec_excerpt:
  - l1l2-66
  - contract-293
answers:
  kind: pair
  options:
  - key: first
    label: A(1위)가 더 온전
  - key: similar
    label: 차이 없음
  - key: second
    label: B(k위)가 더 온전
defect:
  bad:
  - second
aggregate: ratio
truth:
  kind: human
allowed:
- decoration 이 후보를 빼지 않고 순위만 바꾸는 것은 오답이 아니다.
- 두 몫의 항목 수가 다른 것, 상대 몫의 항목이 이쪽에 없는 것은 차이가 아니다.
- 위성 자리(컴포넌트 제목, 부제, 설명)의 임시 문구는 차이가 아니다(평가틀 47 결정 11).
- 사진, 일러스트, 장식, 색, 배치, 페이지 제목 유무는 기본 품질 밖이라 보지 않는다.
sources:
- plan/l1-l2-result-display-blueprint.md:66-69(정렬 키 1 온전함)
- design/content-binding-contract.md:293(군 순서가 절대적)
- 47-decisions-1020.md 결정 11(위성 임시 문구 결함 아님)
- tools/eval/cards/E3.yaml v8(본문 잔재 출처 분류: 임시 문구 · 템플릿 글 · 견본 데이터)
threshold:
  basis: a1
  value: null
model:
  default: gpt-6-luna
  current: gpt-6-luna
  reasoning: medium
reps: 5
observe_only: false
purpose: "같은 장의 검색 후보 가운데 1위보다 자기 몫을 더 온전하게 담은 후보가 2–10위에 있는 순위 역전을 잡는다. 온전한 후보를 위에 두는 것은 검색 순위의 책임이다(l1l2-66 정렬 키 1, 기본품질 13 1.1). 두 후보는 같은 칸의 후보끼리만 견주고(모든 칸, 유저 결정 10/27), 각자 자기 장의 YAML 몫에 견준다(유저 결정 10/23). 한 후보가 혼자 온전한지는 R4 · E3 몫이고, R6 은 두 후보의 차이만 본다."
changelog:
- 'v2 (2026-10-23): 질의를 query_yaml(L1/L2 전체) 대신 컴포넌트마다 그 장의 YAML 몫(A.page_yaml, B.page_yaml)으로 준다(유저 결정 10/23). 쌍의 두 컴포넌트는 서로 다른 장일 수 있어 각자 자기 몫에 견준다.'
- 'purpose 추가(10/24)'
- 'v3 (2026-10-27): 68 문서(R6 평가기 v3 설계) 권고 (다+)를 유저 결정(10/27)대로 반영. (1) 짝은 같은 칸 안에서만 만든다(sample.pair_scope: same_slot, 모든 칸). 옛 짝은 질의마다 칸 0 의 1위 대 모든 칸의 2–10위라 운영 2,000 짝 25,768 가운데 8,311(32%)이 몫이 다른 다른 칸 짝이었고, 라벨 표본에서 다른 칸 짝의 정밀도는 0.105(TP 1 · FP 7)였다. (2) 질문에 A = 1위, B = k위와 답 대응을 적고 근거 꼴을 「A: … ; B: … ⇒ 답」으로 정했다(뒤집힘 5 건). (3) 각 후보는 자기 몫에만 견주고 항목 수 차이는 차이가 아니다(몫 혼동 7 건). (4) 비교축을 1축 담김 → 2축 온전함(l1l2-66 정렬 키 1) 순으로 고정하고 placeholder_table 을 입력에 더했다(본문 잔재 놓침 4 건). (5) 위성 임시 문구(평가틀 47 결정 11), 페이지 제목, 장식, 유형 이름 어울림(R5 몫), 같은 글 반복은 보지 않는다. 추론 강도 medium. 답 key 와 결함 정의(second)는 그대로다.'