MORDOR RAT

Visual Summary 기본 품질
평가 체계와 1차 측정

운영 조건에서 컴포넌트 결함을 카드 44장으로 나눠 재고, 평가기 신뢰도를 정답으로 확보한다.

실제 원문 표본: 250
상위 10 결과 장: 2,987
평가기 카드: 44
시각 요약으로 쓰지 않겠음: 26.0%

2026-10-20

틀

운영 조건을 재고, 정답은 평가기 신뢰도에만 쓴다

무엇을 재나

실제 원문 250 표본, 운영 코드, 상위 10 결과 2,987장
평가 대상은 페이지가 아니라 컴포넌트다
디자인(색, 그림 요소의 어울림)은 기본 품질 밖이다

정답은 어디에 쓰나

정답 YAML, 원본, 규칙, 사람 대신 라벨은 평가기 신뢰도를 확보하는 데만 쓴다
「기준 조건에서는 달성」 식 판정은 하지 않는다. 평가기가 그 조건을 정답으로 삼아 만들어졌으니 동어반복이다

MECE 검색 카드는 검색 코드 품질만, 대치 카드는 대치 코드 품질만 잰다. 종합에서 재는 것은 다른 묶음에서 다시 재지 않는다.

평가기

카드 5묶음 44장, 신뢰도는 세 층으로 표시한다

생성G1–G10

색인B1–B4, P1–P5, C1

검색R1–R8

대치D1–D9

종합E1–E7

카드마다 질문 하나를 LLM 평가기(gpt-6-luna)에 5회 묻는다. 결정적으로 판정할 수 있는 카드는 규칙 정답을 보드 값으로 쓴다.

확정

규칙 정답 카드. 보드 값을 그대로 읽는다.

폭

사람 판단 카드. 정답 대비 F1 0.5–0.8 이라 값을 폭으로 읽는다.

측정 중

양성 표본이 부족하다. 관찰로만 읽는다.

신뢰도 = 정답 대비 F1 과 5회 일치도. 정답은 규칙, 합성 결함, 사람 대신 라벨(LLM 라벨 450 단위 5,025칸, 다른 모델 앙상블 150 단위, 결함 여부 일치 91.7%). 사람 검수는 진행 중이다.

한눈에 보기

카드별 결함 비율 낮을수록 좋다

26.0%E7 총평: 시각 요약으로 쓰지 않겠음

E7 은 머리 지표로 따로 두고 카드 계산에서 뺀다. E7 만 결함이고 다른 카드가 정상인 사례는 카드 체계의 빈칸을 찾는 데 쓴다.

10% 미만10–20%20% 이상보드 제외임시 기준 10%

생성

G1유형확정14.8%

G2L2 나눔측정 중6.5%

G3항목 누락확정7.0%

G4항목 순서확정3.8%

G5dataset 모양확정16.3%

G6params확정0.4%

G7글 누락측정 중다음 회차

G8지어냄측정 중2.8%

G9수와 단위확정2.8%

G10언어와 표기측정 중4.2%

색인

B1core 경계가 정답과 다름측정 중0.8%

B2카테고리가 정답과 다름측정 중0.0%

B3경계가 하나의 의미 단위가 아님측정 중1.7%

B4위성을 경계에 넣었거나 root 를 과잉으로 경계로 둠확정11.9%

P1자리 지도가 정답과 다름확정2.8%

P2core 글이 어느 자리에도 묶이지 않음확정3.2%

P3표, 차트 카테고리와 격자 요소가 어긋남확정0.0%

P4dataset 칸 지도가 정답과 다름확정11.2%

P5params 가 정답과 다름확정0.0%

C1원본 글이 자기 슬롯 용량을 넘음확정18.5%

검색

R1원본(또는 같은 모양)이 상위 10 에 없음측정 중다음 회차

R2원본이 걸러진 사유가 부당함(담길 수 있는데 걸러짐)측정 중69.8%

R31위가 원본보다 질의에 덜 맞음측정 중8.6%

R4온전하지 않은 컴포넌트를 제공확정8.0%

R5질의 유형과 무관한 표현을 제공확정0.0%

R6순위 역전측정 중13.9%

R7상위 10 안에 같은 모양 중복확정1.1%

R8경계 밖에 글이나 차트, 표를 가진 후보가 상위에 옴확정1.6%

대치

D1원본 재현 실패확정0.3%

D2질의 글이 결과에 없음확정6.0%

D3질의 글이 다른 자리에 들어감확정0.6%

D4제목 자리가 있는데 문서 제목이 빠짐확정0.9%

D5문서 제목이 중복확정5.2%

D6목록에 있는 글을 대치가 덮지 않음확정0.0%

D7표와 차트 칸 값이 다름확정2.7%

D8글이 상자를 벗어나거나 다른 요소와 겹침측정 중5.6%

D9단어 중간 줄바꿈확정33.1%

종합

E1뜻이 보존되지 않음측정 중16.1%

E2표현이 내용 구조와 어긋남측정 중13.4%

E3채워지지 않은 자리가 보임측정 중18.0%

E4글이 다 읽히지 않음측정 중6.6%

E5정보 구조와 순서가 흐려짐측정 중12.3%

E6구성이 어색함폭보드 제외(디자인)

임시 기준은 모든 카드 10%다(품질 기준 확정 전). 막대 축은 0–50%, 넘는 값은 끝에 닿는다. G7, R1 은 다음 회차에 값이 생긴다.

정책 결정

규약 해석을 정하고 결함 비율을 다시 쟀다

카드	결정	전	후
G1 유형	정답과 달라도 fallback 순서 아래쪽이면 결함이 아니다. 정답보다 좁은 쪽은 결함이다	45.6%	14.8%
C1 원본 글 용량	라틴 글은 라틴 폭으로 환산한다	50.5%	18.5%
G5 표 모양	칸 글이 모두 같으면 같은 표로 본다. 빈 머리글 측정 결함을 고쳤다	74.4%	16.3%
G3 항목 누락	템플릿 안내문은 버리는 것이 맞다. 문서 제목은 대치되지 않아도 감점하지 않는다	23.4%	7.0%
R4 질의 몫 나눔	공급 부족은 결함이 아니다. 온전한 후보가 있었는데 놓친 것만 센다	19.6%	8.0%
R3 1위가 원본보다 덜 맞음	원본이 걸러지지 않은 질의만 센다	20.6%	8.6%
E5 위계와 순서	정보 구조(순서, 소속, 묶음)만 본다. 크기와 굵기는 디자인이다	28.4%	12.3%
E3 빈 자리	범위를 DO 전체로 잡고 경계 밖 잔존을 포함한다	22.8%	18.0%
D9 단어 중간 줄바꿈	그대로 둔다. 한글 어절 중간의 음절 줄바꿈도 결함이다	33.1%	33.1%

E5 는 순위 1 기준이다. G7 은 질문을 바꿔 다음 회차에 값이 생기고, E5 상위 10 도 다음 회차에 잰다.

찾은 것 1

결과에는 경계가 아니라 템플릿 DO 전체가 들어간다

결과 1위 장. 아래 상자에는 질의 글이 들어갔지만 위쪽의 템플릿 차트가 원래 수치 80%, 95%와 범례 학업성취도 그대로 남아 있다 — 질의 글은 아래 상자에만 들어갔고, 경계 밖 차트는 템플릿 수치와 범례 그대로 보인다.

대치는 색인 경계 안만 바꾸지만 결과 장은 DO 전체를 그린다
차트는 대치 범위 밖이고, 검색 벌점은 글 노드만 본다. 규약이 비어 있는 자리다
종합 E3 범위를 DO 전체로 넓히고, 검색 관찰 카드 R8 을 더했다

결정 필요 검색이 이런 후보를 막을지, 대치가 경계 밖을 비울지.

찾은 것 2

규칙도 검증 대상이고, 비싼 모델이 더 맞히지는 않는다

규칙 정답 5장이 틀렸다

신뢰도 진단에서 규칙 카드 C1, G9, R4, R5, D1 은 평가기가 아니라 규칙 정답 쪽이 틀렸다. 규칙도 정답과 대조한다.

모델 승급은 하지 않는다

더 비싼 평가 모델(gpt-5.6-terra)로 바꾸면 E1 F1 이 0.39에서 0.15로 내려갔다.

처리량과 비용

병목은 업로드 회선이었다

분당 평가 호출: 4,400
밤 대비: 4배
평가기 누계 비용: 약 $578

VPN 과 PNG 전송이 회선을 막았다. webp 로 보내도 평가 결과가 같음을 확인하고 전송 형식을 바꿨다
비용은 10/19 밤–10/20 평가기 누계다

사람 검수 앙상블 불일치 276칸, E3 60 단위, 색인 카드(원본 그림 포함 뷰어 준비됨)
평가기 개선 측정 중 카드를 확정으로(양성 메우기, 관찰 카드 정답)
재측정 G7, E5 상위 10, 정책 반영 회차
품질 기준 확정 카드별 목표 수치와 그 근거(지금은 임시 10%)

결정 필요 경계 밖 차트 처리(규약 오너), 평가 범위를 DO 전체로 바꾸는 전제 수정

Visual Summary 기본 품질평가 체계와 1차 측정