id: E1
version: 6
bundle: overall
name: 뜻이 보존되지 않음
gold: false
status: fix
unit: component
sample:
  conditions:
  - O
  - O_v10
  - a1
  - a
  - c
  scope: top10
question: |
  이 컴포넌트에 보이는 글을 모두 page_yaml(이 장을 만드는 데 들어간 YAML 몫)에서 온 글로 받아들이고 읽을 때, 이 컴포넌트가 맡은 몫이 page_yaml 과 다른 주장이 되는가?
  맡은 몫: binding 의 text 가 이 컴포넌트에 넣은 글이다. 비교 기준은 유저 원문이 아니라 page_yaml 이다. page_yaml 은 이 장(이 컴포넌트)을 만드는 데 들어간 YAML 몫이다. 유저 원문 전체나 L2 의 형제 컴포넌트, 나눠 담기(리스트, 표)의 다른 장으로 간 항목은 들어 있지 않다. 그것이 여기 없는 것은 누락이 아니다. binding 의 글에 대응하는 page_yaml 부분만 비교한다. binding 의 글이 없는 영역(차트와 그 수치, 다른 카드)은 경계 밖이라 이 컴포넌트가 아니다.
  intact: 맡은 몫의 주장이 page_yaml 과 같다. 빠진 항목이나 임시 문구가 있어도 남은 글이 page_yaml 과 같은 주장이면 intact 다.
  different: 글은 다 있는데 page_yaml 과 다른 주장으로 읽힌다. 부정이나 조건이 빠져 반대 뜻이 됨, 이름과 값(수치, 기간, 담당)의 짝이 바뀜, page_yaml 에 없는 시간 순서나 인과가 글자 표지로 생겨 다르게 읽힘(번호나 Step 표지가 page_yaml 순서와 어긋남, 한 단계를 여러 Step 카드로 나눔은 E5 몫이라 빼고), 줄여 쓰며 주장이 바뀜.
  점검 절차(답을 내기 전에 이 순서로 본다):
  1. 짝 대조: binding 의 text 를 이름과 값의 짝(라벨과 설명, 열 머리글과 칸 값, 행 이름과 수치, 기간, 담당)으로 나눠 page_yaml 의 같은 짝과 하나씩 대조한다. 표는 page_yaml 의 열 머리글과 각 행 값을 열 순서대로 맞춘 뜻이 기준이다. page_yaml 행에 쉼표가 든 이름이나 값이 있어 원소가 열 수보다 많아 보여도(예: [AI, Big Data & Digital Fashion, 17, 22]) 열 머리글 수에 맞춰 읽은 뜻(「AI, Big Data & Digital Fashion」이 이름 하나)이 기준이다. 칸이 빠지거나 갈라지면서 남은 값이 다른 열이나 다른 이름 아래로 옮겨 앉았으면 빠짐이 아니라 짝 바뀜이다.
  2. 갈라진 값: 쉼표, 괄호, 줄바꿈에서 이름이나 값이 쪼개져 조각이 다른 이름이나 다른 칸에 붙었는지 본다. 예: 「ABLY: MAU 1,005만」이 「ABLY: MAU 1」과 「SMART STORE: 005만」으로, 「지출 금액: 5,586원」이 「지출 금액: 5」로. 붙었으면 짝이 바뀐 것이라 different 다. 짝 바뀜은 이름과 값(수치, 기간, 담당, 표의 칸 값)이 바뀐 것이다. 설명 문장이나 비교 설명이 다른 항목 아래에 붙거나 묶음이 갈라진 것은 소속 문제(E5)라 짝 바뀜으로 세지 않는다.
  3. 부정과 조건: page_yaml 의 부정어(없다, 아니다, 않는다, 불가, 금지)와 조건절(~이면, ~때, ~경우, 단)이 결과 글에도 있는지 본다. 빠져서 반대 뜻이 되면 different 다.
  4. 순서와 인과: 결과에 page_yaml 에 없는 시간 표지(Day, Week, 월, 분기, 연도, 「20XX」 같은 연도 자리 글)가 항목에 붙어 page_yaml 에 없는 시간 순서가 생기면 different 다. 번호나 Step 표지(Step 4, 01, ①)가 page_yaml 의 단계 이름이나 항목 순서와 어긋나게 붙은 것, page_yaml 의 한 단계 안 항목이나 설명이 여러 Step 카드로 나뉘어 각각 번호를 받은 것은 순서와 묶음 문제(E5 몫)라 intact 다. 글자 표지 없이 화살표 방향, 배치 위치만 다른 것도 E5 몫이라 intact 다.
  different 로 답하려면 page_yaml 쪽 글과 결과 쪽 글을 각각 그대로 인용할 수 있어야 하고, 두 인용이 글자나 짝으로 실제로 달라야 한다. 두 인용이 같은 글이면 intact 다. 글자 비교는 binding 의 text 로 한다. 그림은 글이 어느 칸, 어느 이름, 어느 번호에 붙었는지 볼 때 쓴다. 꾸민 서체 때문에 그림에서 읽은 글자가 binding 과 달라 보이면 그림 읽기 오류로 보고 binding 의 글을 따른다.
  같은 주장으로 본다(different 의 근거가 아니다):
  - 같은 낱말, 동의어, 줄여 쓴 말, 어순 바꿈, 조사와 어미 차이, 확정성 표현의 작은 차이. 그림에서 글자가 흐리거나 달라 보여도 binding 의 text 가 page_yaml 과 같으면 같은 글이다.
  - page_yaml 의 type 이 이미 순서 구조(ProcessFlow, Steps, Timeline, Cycle 등)일 때의 화살표, 선, page_yaml 순서 그대로 붙은 01 02 같은 순번. 글자 표지 없이 화살표 방향이나 배치 위치만 다른 것은 순서 문제라 E5 몫이다.
  - 번호나 Step 표지가 page_yaml 순서와 어긋난 것, 한 단계를 여러 Step 카드로 나눈 것(E5 몫).
  - 같은 이름이나 라벨이 두 번 보이거나 한 항목이 두 카드로 갈라져 번호가 하나씩 밀린 것(묶음 갈라짐, E5), 템플릿 머리글 글자(예: 「label: 형태」)가 섞인 것, 체크 표시나 아이콘처럼 binding 글이 아닌 장식.
  - 뒤쪽 칸이나 항목이 빠지고 남은 칸은 page_yaml 순서대로인 것(빠짐은 D2, G3 몫).
  이 질문에서 결함 근거로 쓰지 않는 것(다른 카드가 잰다): 임시 문구나 템플릿 글이 보임(E3), 글이 가려지거나 잘려 안 보임(E4, D8), 항목이나 글이 빠짐(D2, G3), 설명이 다른 항목에 붙거나 묶음이 갈라지거나 순서가 바뀜, 번호나 Step 표지가 page_yaml 순서와 어긋남, 한 단계를 여러 Step 카드로 나눔(E5), page_yaml 에 없는 수와 단위(G9, D7), 표기와 언어, 대소문자 같은 렌더 서식.
  예시(결정 8): 표를 목록으로 펴며 page_yaml 의 빈 칸이 「값 없음」으로 적힌 것은 intact 다. 유저 경험은 해치지만 page_yaml 과 다른 주장을 만들지는 않는다. 예: 「A 제품은 방수 기능이 없다」가 「A 제품: 방수 기능」으로 부정이 빠졌다면 different, 「담당: 김OO, 기간: 3월」이 「담당: 3월」처럼 짝이 바뀌었다면 different 다.
  그 밖에 바뀜이 아닌 것: 조사와 어미, 문장 일부를 줄여 쓴 것, 출처, 날짜, 기관명, 메모 같은 부가 정보 생략, 오타 교정, 위성 자리(부제, 설명) 임시 문구, page_yaml 이 도구 지시문을 옮긴 안내문 한 줄이나 제목 한 줄뿐이라 그것만 담긴 것.
  답 JSON 에는 answer 앞에 check 를 먼저 쓴다: {"check": "<짝 대조 요약. 다른 짝이 있으면 page_yaml 「…」 대 결과 「…」, 없으면 다른 짝 없음>", "answer": ..., "evidence": "<한 줄>"}
inputs:
- page_yaml
- binding
- result_thumb
answers:
  kind: categorical
  options:
  - key: intact
    label: 같은 주장
  - key: different
    label: 다른 주장
defect:
  bad:
  - different
aggregate: ratio
truth:
  kind: human
allowed:
- 페이지 완성 여부(컴포넌트 밖 여백, 페이지 제목 유무, 다른 영역의 빈 자리)는 보지 않는다. 평가 대상은 컴포넌트다.
- page_yaml 에는 이 장 몫만 들어 있다. 유저 원문이나 다른 장(L2 의 형제 컴포넌트, 나눠 담기의 다른 쪽) 몫이 여기 없는 것은 빠짐이 아니다.
- 글을 줄여 쓰는 것은 허용이다. 빠짐 자체는 이 카드의 결함이 아니다(D2, G3 몫). 남은 글이 다른 주장이 될 때만 센다.
- 표의 빈 칸이 「값 없음」으로 적힌 것은 결함이 아니다(47 문서 결정 8). 유저 경험 영향은 E7 이 판단 안에서 반영한다.
- 경계 밖 요소(binding 글이 없는 차트, 범례, 다른 카드)는 이 컴포넌트가 아니다. 추가된 내용으로 세지 않는다.
sources:
- 22-overall-cards.md §1 E1(옛 judge agent_2 누락 부분)
- 22-overall-cards.md §0 전제 1
- 17-generation-cards.md §7.2(줄여 쓰기 허용)
- eval/human/PACKET_INSTRUCTIONS.md(라벨러 전제 1, 나뉜 것은 결함 아님)
- 46-e1e2-split-and-targets.md §2.4(새 E1 질문 초안), 47-decisions-1020.md 결정 2, 8
threshold:
  basis: O.downloaded
  value: null
model:
  default: gpt-6-luna
  current: gpt-6-luna
  reasoning: medium
reps: 5
observe_only: false
purpose: "결과의 글을 모두 받아들이고 읽었을 때, 이 컴포넌트가 맡은 몫이 이 장의 YAML 몫과 다른 주장이 되는 일(부정이나 조건이 빠져 반대 뜻, 이름과 값의 짝이 바뀜, page_yaml 에 없는 시간 표지나 인과가 생김)을 잡는다. 링크 카드가 못 잡는 VS 결과의 핵심이라 기본 품질에 든다(기본품질 13 1.1). 생성부터 대치까지를 거친 종합 결과이고, 비교 대상은 유저 원문이 아니라 이 장의 YAML 몫이며(유저 결정 10/23) 범위는 경계 안이다(평가틀 47 결정 2). 임시 문구(E3), 안 보임(E4, D8), 빠짐(D2, G3), 소속과 순서, 번호나 Step 표지의 어긋남과 한 단계를 여러 Step 카드로 나눔(E5, 유저 결정 10/27)은 근거로 쓰지 않고, 「값 없음」 표기는 뜻을 바꾸지 않아 결함이 아니다(평가틀 47 결정 8)."
changelog:
- 'v2 (2026-10-20): Fable 라벨 150 단위 대비 거짓 양성 55 진단. (b) 꾸러미가 원문 전체와 그림뿐이라 다른 형제 컴포넌트 몫을 「빠짐」으로 답한 것이 28 건, 경계 밖 차트를 「원문에 없는 내용 추가」로 본 것이 7 건. query_yaml 과 binding 을 넣고 비교 대상을 맡은 몫으로 정의했다. (a) 조사, 기관명, 출처 같은 부가 정보 생략과 위성 임시 문구를 빠짐이나 추가로 본 것 9 건을 「빠짐이 아닌 것」에 적었다. 그래도 남는 미세한 어구 차이 판정은 모델 한계라 승급 후보.'
- 'v3 (2026-10-20): 범위를 「글은 다 있는데 원문과 다른 주장이 됨」 하나로 좁혔다(46 문서 2절, 47 문서 결정 2, 8). v2 결함 481 의 약 85% 가 다른 카드가 재는 현상(임시 문구 E3, 안 보임 E4와 D8, 빠짐 D2, 소속 E5)이라 결함 근거에서 뺐다. 답을 intact / different 둘로 줄였다(partial 과 different 의 경계가 일치도를 깎았다). 「값 없음」 표기는 결함 아님을 예시로 적었다(결정 8). 경계 안 유지(결정 2). 사람 대신 라벨(truth-combined)은 v2 질문 기준이라 신뢰도는 참고값이다.'
- 'v4 (2026-10-23): 비교 기준을 유저 원문에서 이 장의 YAML 몫(page_yaml)으로 바꿨다(유저 결정 10/23, 내부 점검 기록). source_text 와 query_yaml(L1/L2 전체)을 빼고 page_yaml 하나로 대체했다. 리스트 나눠 담기는 sources, L2 는 칸 번호, 표 나눠 담기는 행 구간으로 그 장 몫만 남긴다. 다른 장으로 간 항목이 없는 것은 누락이 아님을 질문과 허용 행동에 적었다.'
- 'purpose 추가(10/24)'
- 'v5 (2026-10-27): 모델 쌍 관문 F1 0.33(batch3) 원인 진단. 라벨 단위 152 를 시드 분할(e1v5-split-1027, 개발 60% · 검증 40%)하고 개발 쪽 오판만 열어 다섯 유형으로 묶었다. 거짓 양성 (1) 같은 글을 다르다고 답함(근거가 「X 가 아니라 X」, 꾸민 서체를 그림에서 잘못 읽음) (2) 순서 구조(Steps, Timeline) 의 화살표나 page_yaml 순서 그대로인 순번을 새 순서로 봄 (3) 같은 라벨이 두 번 보이거나 한 항목이 두 카드로 갈라짐, 설명이 다른 항목 아래 붙음, 장식 아이콘을 짝 바뀜으로 봄(E5, E3 몫). 놓침 (4) 쉼표에서 이름이나 값이 갈라져 값이 다른 칸이나 이름으로 밀린 것을 「빠짐」이나 YAML 문자 그대로의 순서로 봄 (5) page_yaml 에 없는 시간 표지(Day, Week, 분기, 20XX)나 단계 이름과 어긋난 Step 번호를 순서 문제로만 봄. 질문에 점검 절차 네 단계(짝 대조, 갈라진 값, 부정과 조건, 순서와 인과)와 「different 는 두 글을 인용해 실제로 다를 때만, 글자 비교는 binding 의 text 로」 규칙, 같은 주장으로 보는 목록(동의어, 줄임, 어순, 순서 구조의 화살표, 묶음 갈라짐, 장식)을 넣었다. 답 JSON 에 answer 앞 check(짝 대조 요약)를 먼저 쓰게 했다(answer key 는 그대로). 추론 강도 medium(low 와 비용이 같고 반복이 높다). 건식(152 단위 x 5회, run e1v5-dry-it1–it5m): 층 가중 F1 개발 0.44 → 0.75, 검증 0.25 → 0.98(검증은 설계에 쓰지 않음). 라벨은 v4 질문으로 받은 쌍 라벨 그대로다.'
- 'v6 (2026-10-27): 유저 결정 10/27. 「번호 · Step 표지가 page_yaml 순서와 어긋남」과 「한 단계를 여러 Step 카드로 나눔」은 E5 몫이다. different 의 「page_yaml 에 없는 시간 순서나 인과가 글자 표지로 생겨 다르게 읽힘」에서 이 두 모양을 빼고 점검 절차 4 의 (나)를 지웠다. 「같은 주장으로 본다」와 「결함 근거로 쓰지 않는 것」에 두 모양을 E5 몫으로 적었다. 시간 표지(Day, Week, 분기, 20XX) 규칙은 그대로다. v5 관문(batch9)에서 쌍 라벨이 묶음마다 반대로 붙던 번호 · 단계 표지 유형 63 단위가 근거다.'