MORDOR RAT
Visual Summary 기본 품질
평가 체계와 1차 측정
운영 조건에서 컴포넌트 결함을 카드 44장으로 나눠 재고, 평가기 신뢰도를 정답으로 확보한다.
- 실제 원문 표본
- 250
- 상위 10 결과 장
- 2,987
- 평가기 카드
- 44
- 시각 요약으로 쓰지 않겠음
- 26.0%
2026-10-20
틀
운영 조건을 재고, 정답은 평가기 신뢰도에만 쓴다
무엇을 재나
- 실제 원문 250 표본, 운영 코드, 상위 10 결과 2,987장
- 평가 대상은 페이지가 아니라 컴포넌트다
- 디자인(색, 그림 요소의 어울림)은 기본 품질 밖이다
정답은 어디에 쓰나
- 정답 YAML, 원본, 규칙, 사람 대신 라벨은 평가기 신뢰도를 확보하는 데만 쓴다
- 「기준 조건에서는 달성」 식 판정은 하지 않는다. 평가기가 그 조건을 정답으로 삼아 만들어졌으니 동어반복이다
MECE 검색 카드는 검색 코드 품질만, 대치 카드는 대치 코드 품질만 잰다. 종합에서 재는 것은 다른 묶음에서 다시 재지 않는다.
평가기
카드 5묶음 44장, 신뢰도는 세 층으로 표시한다
생성G1–G10
색인B1–B4, P1–P5, C1
검색R1–R8
대치D1–D9
종합E1–E7
카드마다 질문 하나를 LLM 평가기(gpt-6-luna)에 5회 묻는다. 결정적으로 판정할 수 있는 카드는 규칙 정답을 보드 값으로 쓴다.
확정
규칙 정답 카드. 보드 값을 그대로 읽는다.
폭
사람 판단 카드. 정답 대비 F1 0.5–0.8 이라 값을 폭으로 읽는다.
측정 중
양성 표본이 부족하다. 관찰로만 읽는다.
신뢰도 = 정답 대비 F1 과 5회 일치도. 정답은 규칙, 합성 결함, 사람 대신 라벨(LLM 라벨 450 단위 5,025칸, 다른 모델 앙상블 150 단위, 결함 여부 일치 91.7%). 사람 검수는 진행 중이다.
한눈에 보기
카드별 결함 비율 낮을수록 좋다
26.0%E7 총평: 시각 요약으로 쓰지 않겠음
E7 은 머리 지표로 따로 두고 카드 계산에서 뺀다. E7 만 결함이고 다른 카드가 정상인 사례는 카드 체계의 빈칸을 찾는 데 쓴다.
10% 미만10–20%20% 이상보드 제외임시 기준 10%
생성
G1유형확정14.8%
G2L2 나눔측정 중6.5%
G3항목 누락확정7.0%
G4항목 순서확정3.8%
G5dataset 모양확정16.3%
G6params확정0.4%
G7글 누락측정 중다음 회차
G8지어냄측정 중2.8%
G9수와 단위확정2.8%
G10언어와 표기측정 중4.2%
색인
B1core 경계가 정답과 다름측정 중0.8%
B2카테고리가 정답과 다름측정 중0.0%
B3경계가 하나의 의미 단위가 아님측정 중1.7%
B4위성을 경계에 넣었거나 root 를 과잉으로 경계로 둠확정11.9%
P1자리 지도가 정답과 다름확정2.8%
P2core 글이 어느 자리에도 묶이지 않음확정3.2%
P3표, 차트 카테고리와 격자 요소가 어긋남확정0.0%
P4dataset 칸 지도가 정답과 다름확정11.2%
P5params 가 정답과 다름확정0.0%
C1원본 글이 자기 슬롯 용량을 넘음확정18.5%
검색
R1원본(또는 같은 모양)이 상위 10 에 없음측정 중다음 회차
R2원본이 걸러진 사유가 부당함(담길 수 있는데 걸러짐)측정 중69.8%
R31위가 원본보다 질의에 덜 맞음측정 중8.6%
R4온전하지 않은 컴포넌트를 제공확정8.0%
R5질의 유형과 무관한 표현을 제공확정0.0%
R6순위 역전측정 중13.9%
R7상위 10 안에 같은 모양 중복확정1.1%
R8경계 밖에 글이나 차트, 표를 가진 후보가 상위에 옴확정1.6%
대치
D1원본 재현 실패확정0.3%
D2질의 글이 결과에 없음확정6.0%
D3질의 글이 다른 자리에 들어감확정0.6%
D4제목 자리가 있는데 문서 제목이 빠짐확정0.9%
D5문서 제목이 중복확정5.2%
D6목록에 있는 글을 대치가 덮지 않음확정0.0%
D7표와 차트 칸 값이 다름확정2.7%
D8글이 상자를 벗어나거나 다른 요소와 겹침측정 중5.6%
D9단어 중간 줄바꿈확정33.1%
종합
E1뜻이 보존되지 않음측정 중16.1%
E2표현이 내용 구조와 어긋남측정 중13.4%
E3채워지지 않은 자리가 보임측정 중18.0%
E4글이 다 읽히지 않음측정 중6.6%
E5정보 구조와 순서가 흐려짐측정 중12.3%
E6구성이 어색함폭보드 제외(디자인)
임시 기준은 모든 카드 10%다(품질 기준 확정 전). 막대 축은 0–50%, 넘는 값은 끝에 닿는다. G7, R1 은 다음 회차에 값이 생긴다.
카드 전체
평가기 카드 44장 결함 비율, 낮을수록 좋다
최상의 값은 모든 카드 0%다. 임시 기준 10%를 넘는 값은 붉게 표시한다. 층: 확정 = 규칙 판정 카드, 폭 = LLM 평가기 F1 0.5–0.8 이고 양성 30 이상, 측정 중 = 양성 부족이거나 정답 대조 없는 관찰 카드. 일치도는 5회 답의 최빈 비율 평균이다.
생성 10장
| 카드 | 측정 취지 | 방식 | 현재 결함 비율 | 최상 | 층 | 신뢰 정보 | 비고 |
|---|---|---|---|---|---|---|---|
| G1 유형 | 생성이 고른 유형이 정답 유형과 같은가? | 규칙 | 14.8% 37/250, 규칙 원문 생성 | 0% | 확정 | 규칙 판정 | - |
| G2 L2 나눔 | 원문이 읽는 방식이 다른 덩어리 둘로 되어 있는가? | LLM 평가기 | 6.5% 16/245, 운영 상위 10 | 0% | 측정 중 | F1 0.27, 양성 3, 일치도 0.96 | 양성 30 미만 |
| G3 항목 누락 | 정답의 항목(entity)들이 생성에 모두 있는가? | 규칙 | 7.0% 15/214, 규칙 원문 생성 | 0% | 확정 | 규칙 판정 | - |
| G4 항목 순서 | 생성의 항목 순서가 정답(원문)의 순서와 같은가? | 규칙 | 3.8% 5/131, 규칙 원문 생성 | 0% | 확정 | 규칙 판정 | - |
| G5 dataset 모양 | 정답 표(행, 열, 범주 축)와 생성 표가 같은 모양인가? | 규칙 | 16.3% 33/203, 규칙 원문 생성 | 0% | 확정 | 규칙 판정 | - |
| G6 params | 생성 params 의 값이 정답 params 와 다른 키가 있는가? | 규칙 | 0.4% 1/250, 규칙 원문 생성 | 0% | 확정 | 규칙 판정 | - |
| G7 글 누락 | 정답의 글(항목 이름, 설명, 칸) 가운데 생성에서 뜻이 사라진 것이 있는가? | LLM 평가기 | 값 없음 | 0% | 측정 중 | - | 다음 회차 |
| G8 지어냄 | 생성 글(query_yaml 의 값)에 원문 어디에도 없는 내용(사실, 이름, 수치, 평가나 인과 주장)이 새로 들어 있는가? | LLM 평가기 | 2.8% 8/285, 운영 상위 10 | 0% | 측정 중 | 양성 0, 일치도 0.98 | 양성 30 미만 |
| G9 수와 단위 | 생성 글에 원문에 없는 수나 단위가 있는가. | 규칙 | 2.8% 8/285, 운영 상위 10 | 0% | 확정 | 규칙 판정 | - |
| G10 언어와 표기 | 생성 글(query_yaml 의 값)의 언어가 원문과 같은가? | LLM 평가기 | 4.2% 12/285, 운영 상위 10 | 0% | 측정 중 | F1 0.29, 양성 5, 일치도 0.96 | 양성 30 미만 |
색인 10장
| 카드 | 측정 취지 | 방식 | 현재 결함 비율 | 최상 | 층 | 신뢰 정보 | 비고 |
|---|---|---|---|---|---|---|---|
| B1 core 경계가 정답과 다름 | 정답 경계의 core 노드가 운영 경계에 모두 들어 있는가? | LLM 평가기 | 0.8% 2/250, 정답 세트 | 0% | 측정 중 | 정답 대조 없음, 일치도 0.97 | - |
| B2 카테고리가 정답과 다름 | 운영이 이 경계에 붙인 카테고리(여럿이면 전부) 가운데 정답 카테고리가 있는가? | LLM 평가기 | 0.0% 0/250, 정답 세트 | 0% | 측정 중 | 정답 대조 없음, 일치도 1.00 | - |
| B3 경계가 하나의 의미 단위가 아님 | 이 경계 안의 core 가 한 category 의 표현 하나를 이루는가? | LLM 평가기 | 1.7% 51/2,985, 운영 상위 10 | 0% | 측정 중 | F1 0.33, 양성 13, 일치도 0.99 | 양성 30 미만 |
| B4 위성을 경계에 넣었거나 root 를 과잉으로 경계로 둠 | 위성을 경계에 넣었거나 root 를 과잉으로 경계로 두었는가? | 규칙 | 11.9% 352/2,946, 운영 상위 10 | 0% | 확정 | 규칙 판정 | - |
| P1 자리 지도가 정답과 다름 | 각 core 글 노드가 정답과 같은 유닛의 같은 필드(label, items, value, period 등)에 묶였는가? | 규칙 | 2.8% 7/250, 정답 세트 | 0% | 확정 | 규칙 판정 | - |
| P2 core 글이 어느 자리에도 묶이지 않음 | 경계 안 글 노드 가운데 색인의 어느 자리에도 묶이지 않은 것이 있는가? | 규칙 | 3.2% 95/2,987, 운영 상위 10 | 0% | 확정 | 규칙 판정 | - |
| P3 표, 차트 카테고리와 격자 요소가 어긋남 | 표, 차트 카테고리와 격자 요소가 서로 맞는가? | 규칙 | 0.0% 0/2,987, 운영 상위 10 | 0% | 확정 | 규칙 판정 | - |
| P4 dataset 칸 지도가 정답과 다름 | 운영 칸 지도(columns, rows, 또는 grid 노드)가 정답과 같은가? | 규칙 | 11.2% 28/250, 정답 세트 | 0% | 확정 | 규칙 판정 | - |
| P5 params 가 정답과 다름 | 운영 params 의 값이 정답과 다른 키가 있는가? | 규칙 | 0.0% 0/250, 정답 세트 | 0% | 확정 | 규칙 판정 | - |
| C1 원본 글이 자기 슬롯 용량을 넘음 | 슬롯의 원본 글이 그 슬롯 용량을 넘는가? | 규칙 | 18.5% 554/2,987, 운영 상위 10 | 0% | 확정 | 규칙 판정 | - |
검색 8장
| 카드 | 측정 취지 | 방식 | 현재 결함 비율 | 최상 | 층 | 신뢰 정보 | 비고 |
|---|---|---|---|---|---|---|---|
| R1 원본(또는 같은 모양)이 상위 10 에 없음 | 이 상위 10 컴포넌트 가운데 원본 컴포넌트와 같은 모양인 컴포넌트가 있는가? | LLM 평가기 | 값 없음 | 0% | 측정 중 | - | 다음 회차 |
| R2 원본이 걸러진 사유가 부당함(담길 수 있는데 걸러짐) | 검색이 원본을 걸렀다면 그 사유가 정당한가? | LLM 평가기 | 69.8% 162/232, 정답 YAML | 0% | 측정 중 | 정답 대조 없음, 일치도 0.98 | 측정 결함 확인됨, 다음 회차에 고침 |
| R3 1위가 원본보다 질의에 덜 맞음 | 질의를 담기에 원본 W 와 1위 컴포넌트 가운데 어느 쪽이 더 맞는가? | LLM 평가기 | 8.6% 6/70, 정답 YAML | 0% | 측정 중 | 정답 대조 없음, 일치도 0.81 | - |
| R4 온전하지 않은 컴포넌트를 제공 | 이 컴포넌트가 맡은 질의 몫을 넣었을 때 남는 자리나 모자라는 자리가 있는가. | 규칙 | 8.0% 239/2,985, 운영 상위 10 | 0% | 확정 | 규칙 판정 | - |
| R5 질의 유형과 무관한 표현을 제공 | 이 컴포넌트의 카테고리(result_meta.categories)가 질의 type 인가, 그 type 의 fallback 행 안인가, 둘 다 아닌가. | 규칙 | 0.0% 0/2,985, 운영 상위 10 | 0% | 확정 | 규칙 판정 | - |
| R6 순위 역전 | 1위 컴포넌트와 k위 컴포넌트 가운데 질의에 더 맞는 쪽은?(k = 2–10) | LLM 평가기 | 13.9% 383/2,747, 운영 상위 10 | 0% | 측정 중 | 정답 대조 없음, 일치도 0.81 | - |
| R7 상위 10 안에 같은 모양 중복 | 이 상위 10 컴포넌트 가운데 서로 같은 모양(배치와 구성이 같고 색과 장식만 다름)인 컴포넌트가 있는가? | 규칙 | 1.1% 3/283, 운영 상위 10 | 0% | 확정 | 규칙 판정 | - |
| R8 경계 밖에 글이나 차트, 표를 가진 후보가 상위에 옴 | 부분 매치 후보의 경계 밖에 사용자 글을 받지 못하는 요소가 있는가? | 규칙 | 1.6% 49/2,987, 운영 상위 10 | 0% | 확정 | 규칙 판정 | - |
대치 9장
| 카드 | 측정 취지 | 방식 | 현재 결함 비율 | 최상 | 층 | 신뢰 정보 | 비고 |
|---|---|---|---|---|---|---|---|
| D1 원본 재현 실패 | 정답 YAML 의 글을 원본 컴포넌트에 되넣은 결과가 원본과 같은가. | 규칙 | 0.3% 3/1,046, 원본 강제 | 0% | 확정 | 규칙 판정 | - |
| D2 질의 글이 결과에 없음 | 대상 질의 글(target)이 이 장의 결과 글에 있는가. | 규칙 | 6.0% 1,738/29,016, 운영 상위 10 | 0% | 확정 | 규칙 판정 | - |
| D3 질의 글이 다른 자리에 들어감 | 질의 글이 같은 노릇의 자리에 들어갔는가? | 규칙 | 0.6% 98/17,220, 운영 상위 10 | 0% | 확정 | 규칙 판정 | - |
| D4 제목 자리가 있는데 문서 제목이 빠짐 | 컴포넌트에 제목 노릇을 하는 글 자리가 있는데 문서 제목이 거기 없는가? | 규칙 | 0.9% 26/2,985, 운영 상위 10 | 0% | 확정 | 규칙 판정 | - |
| D5 문서 제목이 중복 | 문서 제목 글이 컴포넌트에 두 번 이상 보이는가? | 규칙 | 5.2% 156/2,985, 운영 상위 10 | 0% | 확정 | 규칙 판정 | - |
| D6 목록에 있는 글을 대치가 덮지 않음 | 대치가 덮지 않아 원본 템플릿 글이 남은 노드가 있는가? | 규칙 | 0.0% 1/2,987, 운영 상위 10 | 0% | 확정 | 규칙 판정 | - |
| D7 표와 차트 칸 값이 다름 | 결과의 표, 차트 칸과 질의 dataset 의 칸을 같은 자리끼리 맞대고 값이 다른 칸 수를 센다. | 규칙 | 2.7% 6/226, 정답 YAML | 0% | 확정 | 규칙 판정 | - |
| D8 글이 상자를 벗어나거나 다른 요소와 겹침 | 컴포넌트에서 글이 자기 상자 밖으로 나가거나 다른 글, 그림과 겹친 곳이 있는가? | LLM 평가기 | 5.6% 166/2,985, 운영 상위 10 | 0% | 측정 중 | F1 0.78, 양성 17, 일치도 0.98 | 양성 30 미만 |
| D9 단어 중간 줄바꿈 | 글이 단어 중간에서 줄이 바뀐 곳이 있는가? | 규칙 | 33.1% 53/160, 운영 상위 10 | 0% | 확정 | 규칙 판정 | - |
종합 7장
| 카드 | 측정 취지 | 방식 | 현재 결함 비율 | 최상 | 층 | 신뢰 정보 | 비고 |
|---|---|---|---|---|---|---|---|
| E1 뜻이 보존되지 않음 | 이 컴포넌트에 담긴 몫만 보고 원문이 그 부분에서 말하려던 것을 알 수 있는가? | LLM 평가기 | 16.1% 481/2,985, 운영 상위 10 | 0% | 측정 중 | F1 0.40, 양성 53, 일치도 0.93 | - |
| E2 표현이 내용 구조와 어긋남 | 원문의 내용 구조(나열, 순서, 비교, 순환, 수치 크기, 구성비, 시간)에 이 컴포넌트의 시각 표현이 어울리는가? | LLM 평가기 | 13.4% 400/2,985, 운영 상위 10 | 0% | 측정 중 | F1 0.43, 양성 31, 일치도 0.88 | - |
| E3 채워지지 않은 자리가 보임 | 결과에 들어간 컴포넌트 전부가 원문 내용으로 채워져 있는가? | LLM 평가기 | 18.0% 538/2,985, 운영 상위 10 | 0% | 측정 중 | F1 0.44, 양성 46, 일치도 0.87 | - |
| E4 글이 다 읽히지 않음 | 이 컴포넌트의 글이 전부 읽히는가? | LLM 평가기 | 6.6% 196/2,985, 운영 상위 10 | 0% | 측정 중 | F1 0.62, 양성 9, 일치도 0.98 | 양성 30 미만 |
| E5 정보 구조와 순서가 흐려짐 | 원문의 정보 구조(항목 순서, 설명이 어느 항목에 붙는지, 묶음)가 이 컴포넌트에 그대로 담겼는가? | LLM 평가기 | 12.3% 35/285, 운영 상위 10 | 0% | 측정 중 | F1 0.25, 양성 65, 일치도 0.94 | - |
| E6 (참고) 구성이 어색함 | 글을 바꿔 넣은 컴포넌트가 글 배치만 보면 자연스러운가? | LLM 평가기 | 21.5% 643/2,985, 운영 상위 10 | 0% | 폭 | F1 0.63, 양성 54, 일치도 0.90 | 참고(보드 제외) |
| E7 시각 요약으로 쓰지 않겠음 | 이 컴포넌트를 원문의 시각 요약으로 그대로 쓰겠는가? | LLM 평가기 | 26.0% 775/2,985, 운영 상위 10 | 0% | 폭 | F1 0.74, 양성 46, 일치도 0.86 | 총평(도달 계산 제외) |