MORDOR 내부 공유 · 2026-10-27

Visual Summary
기본 품질과 채택률

  1. 1부 기본 품질목표 결함 0% · 지금의 결함, 원인, 고칠 곳 · 운영 도입(관리 항목 · 정기 측정 · 원인 해결)
  2. 2부 채택률유저가 결과 컴포넌트를 실제로 쓰는가
  3. 3부 품질과 채택률기본 품질 결함이 채택에 얼마나 기여하는가

측정 환경 — 지금 운영 중인 코드와 데이터 기준

코드검색(Rust) · 대치(TS) iui comp-pass-v0.9.15 @377357ddd · 검색 운영 배포 2026-10-20 · 대치 운영 배포 2026-10-20(검색과 같음)
프롬프트생성 l1-system-v3(v0.9.15 서버에 포함) · 경계 boundary-v12.4(운영 등록 2026-09-04) · 속성 property-v8, 일부 v7(운영 색인 생성 2026-09-20–10-07)
데이터운영 스냅샷 dv2.6 · 컴포넌트 212,617 · 운영 적재 2026-10-15(같은 수의 운영 적재분을 2026-10-21 로컬로 구움)
표본9월 실사용 원문 2,000(10자 이상) · 생성은 운영 서버 생성 재사용 · 본 측정 2026-10-23 · 게시본 2026-10-27

출처: local-rounds/2k/a/stack.json(판 고르기 「운영」) · iui PRODUCTION 배포 실행 39402818317 · 대치 배포 일자 = 유저 확인 10/27 · 운영 DB iis_boundary_eval_prompt · iui.comp_frames(읽기 전용 SELECT 10/27) · 16 · 17 문서 · manifest generated_at

원문(질의)
1,962
상위 10 결과 장
28,457
기본 카드
18
신뢰도 확보 카드
18

1부 · 결론 먼저

목표는 결함 0%. 지금은 0% 가 아니지만, 어디에 어떤 결함이 왜 생기는지 재고 고칠 곳을 짚을 수 있다

1

목표

0%

Visual Summary 기본 품질의 결함률 목표

2

현재는 0% 가 아니다

G1 5.4%G3 2.7%G8 2.4%B2 0.36%P1 6.6%P2 0.22%R4 0.79%R6 13.5%R7 1.5%R8 1.7%D2 2.2%D3 1.5%D4 1.9%D8 5.2%E1 0.39%E3 7.8%E4 2.2%E5 10.5%

관문 통과 기본 카드 18장의 결함률. 카드마다 세는 단위가 달라 값끼리 견주지 않는다.

3

최종 결과가 아닌, 중간 단계를 측정할 수 있다

생성 13장색인 10장검색 7장대치 12장종합 7장

최종 결과 그림만이 아니라 생성 · 색인 · 검색 · 대치 각 단계의 결함률을 품질 평가 카드 49장이 따로 잰다.

4

어디에 어떤 결함이 있나 단계마다 결함률이 가장 큰 관문 통과 기본 카드

  • 생성 G1 유형이 원문에 맞지 않음 5.4%
  • 색인 P1 structure map 이 노드 역할에 맞지 않음 6.6%
  • 검색 R6 더 온전한 후보가 아래 순위에 있음 13.5%
  • 대치 D8 글이 상자를 벗어나거나 겹침 5.2%
  • 종합 E5 정보 구조와 순서가 흐려짐 10.5%
5

원인을 짚고, 원인은 소수에 몰려 있다

귀책 모듈
LLM→프롬프트 개선

생성 프롬프트(l1-system-v3.txt 26행 · l1-system-v3.txt 300–304행)가 병렬 항목을 빠짐없이 옮기게 하면 G3 결함이 최대 60% 줄 것으로 본다. 기대 감소 상한 = 원인 「병렬 항목 추출 누락」에 귀속된 결함 몫(표본 101)

규칙→규약 – 코드 정합

검색 순위 비용(cost.rs)에 경계 밖 데이터 요소 벌점을 더하면 R8 결함 493장 가운데 452장(92%)이 사라진다. 시뮬레이션 값

몰림: R8 결함의 97%, E3 결함의 51%가 템플릿 10개에서 나온다. 이 템플릿들의 노출 몫은 2.4% · 4.0%다.

6

운영 과정에 도입한다

  1. 품질 관리 항목 추가 관리
  2. 정기 측정
  3. 원인 파악 · 해결 프로세스

출처: 목표 0% · 운영 도입 셋 = 유저 지시 10/27 · 기본 카드 = eval/reliability-gate/core-cards-1026.json meta.core_ids(유저 결정 10/27) · 현재 결함률 · 카드 수 = 게시본 export-2k-1027 manifest(조건 O2k, 관문 상태 compliance.gate) · LLM 예시 = manifest G3 actions[0](cause_share · 표본, 고칠 곳 l1-system-v3.txt) · 규약 – 코드 정합 예시 = eval/cause-attribution-1027/summary.json fix_simulations(R8, 71 문서 시뮬레이션) · 몰림 = 같은 summary.json do_concentration(80 문서 3절)

1부 · 무엇을 쟀나

기본 품질은 Visual Summary 품질 가운데 규약이 정한 구조 부분이다. 생성부터 렌더까지 전체 과정이 규약에 근거해 구현 의도대로 작동하는지를 본다

Visual Summary 품질의 전체 범위

구조기본

사용자 글을 조각마다 컴포넌트 하나에 골라 담고, 항목 · 순서 · 위계 · 관계가 원본 의도대로 전달되는가.

생성 질의 YAML색인 structure map검색대치렌더

나누는 방식(L1 · L2 · threading)은 셋 다 기본이다.

응용 구조의 확장: 한 장에 여럿 배치 · 컴포넌트 안 중첩(L3)
디자인보존 조건

색 · 폰트 · 이미지 · 장식 · 위치 · 크기. 기본 안에서는 원본 그대로 두고 깨뜨리지 않는지만 본다. 디자인 자체의 좋고 나쁨과 취향은 범위 밖이다.

여러 장범위 밖 · 응용

덱 구성, 장 사이 흐름, 재배치. 이번 기본 품질 밖이다.

기본 = 구조 영역(실선). 보존 = 디자인은 원본 그대로(점선). 응용 = 구조의 확장과 여러 장(회색). 자산을 늘리는 공급은 이 판 밖이다.

평가 범위는 지금 구현이 아니라 그 단계가 규약상 책임질 범위로 잡는다. 구현이 더 좁으면 그 차이도 결함으로 센다.

기본 품질이 보는 것: 단계마다 규약대로 작동하는가

  1. 생성원문 → 질의 YAML

    공용 스키마가 무엇을 어느 필드에 적을지 정한다

    spec/schema-v0.5.md

  2. 색인컴포넌트 → 경계 · structure map

    같은 스키마로 컴포넌트를 해석하고 노드를 CORE · DESC · DECO · OUT 으로 나눈다

    content-binding-contract.md 1.1절 · 운영 판 boundary-v12.4 · property-v8(일부 v7)

  3. 검색질의 → 상위 10 후보

    capability 표로 그 구조를 받을 수 있는지 판정하고, 없으면 fallback 순서를 따른다

    spec/capability-table.md

  4. 대치후보에 질의 글 넣기

    entities · relations · dataset 이 어느 자리로 가는지(슬롯 매핑)

    design/content-binding-contract.md

  5. 렌더결과 그림 · 4장의 「종합」 카드

    글 밖의 층은 원본대로 두고, 원본의 가독성 · 완결성을 깨지 않는다(보존 조건)

    vault 01 문서 2.2절

대상 페이지가 아니라 컴포넌트범위 밖 디자인 · 취향「맞음」 원본과 동등. 추출 · 검색 · 대치에 쓰는 정보로만 가린다등급 내용 오류 전달 저하

출처: 세 영역 틀 = 유저 지시 10/27 · 영역별 내용 = vault 2026-10-07-vs-basic-quality 01 문서 2.1–2.3절(구조 = 분할 축 · 텍스트 층 · 장 품질, 디자인 = 보존 조건, 여러 장 = 덱 · 재배치) · 단계별 규약 = mordor-wiki visual-summary design/pipeline-flow.md 4절과 단계마다 적은 파일 · 평가 범위 = 유저 결정 10/20 · 컴포넌트 · 디자인 = 평가틀 22 문서 0절 · 원본 동등 = 유저 결정 10/13 · 등급 = 30 문서 3.1절

1부 · 무엇을 쟀나

카드 배치: 3장의 단계마다 기본 카드 18장이 어디를 재는가

생성

유저 원문 → 질의 YAML

  • G1 유형이 원문에 맞지 않음 확보
  • G3 원문 항목이 YAML 에서 빠짐 확보
  • G8 원문에 없는 내용을 지어냄 확보

색인

템플릿 컴포넌트 → 경계 · structure map

  • B2 카테고리가 컴포넌트에 맞지 않음 확보
  • P1 structure map 이 노드 역할에 맞지 않음 확보
  • P2 경계 안 core 글이 어느 자리에도 묶이지 않음 확보

검색

질의 YAML → 상위 10 후보

  • R4 온전하지 않은 컴포넌트를 제공 확보
  • R6 더 온전한 후보가 아래 순위에 있음 확보
  • R7 상위 10 안에 같은 모양 중복 확보
  • R8 경계 밖 차트 · 표가 남는 후보를 피하지 못함 확보

대치

후보에 질의 글 넣기

  • D2 질의 글이 결과에 없음 확보
  • D3 질의 글이 다른 자리에 들어감 확보
  • D4 제목 자리가 있는데 문서 제목이 빠짐 확보
  • D8 글이 상자를 벗어나거나 겹침 확보

종합

대치 결과 그림 전체

  • E1 뜻이 보존되지 않음 확보
  • E3 채워지지 않은 자리가 보임 확보
  • E4 글이 다 읽히지 않음 확보
  • E5 정보 구조와 순서가 흐려짐 확보

원문은 9월 실사용 입력 2,000(10자 이상). 운영 판(iui comp-pass)을 로컬에서 그대로 돌려 상위 10 결과 장 28,457장을 얻었다. 대치 이후 카드는 유저 원문이 아니라 그 장을 만든 YAML 몫과 결과를 비교한다(원문 대비는 생성 카드 몫). 기본 밖 카드 31장은 부록에 같은 틀로 둔다.

출처: 카드 목록 = eval/reliability-gate/core-cards-1026.json · 대치 카드 비교 기준 = 유저 결정 10/23(18 문서)

1부 · 수치를 믿을 수 있나

측정기를 믿을 수 있는 카드만 수치로 말한다: 18장 중 18장

규칙 카드 7장

규칙이 곧 판정이다. 규칙 산출 표본을 사람이 카드 질문과 맞대 본 기록(규칙 설계 검증)이 있어야 통과다.

LLM 카드 11장

같은 단위를 세 번 물어 답이 같은 비율(반복 일치) 0.8 이상, 그리고 고추론 모델 쌍(fable · gpt-5.5) 라벨 대비 정밀도 · 재현율 · F1 을 모두 쟀다. 결함이 아주 드문 카드는 무결함 정확도와 주입 재현율, 측정기 결함 전수 사람 확인으로 대신한다.

지금 상태

확보 18장: G1 · G3 · G8 · B2 · P1 · P2 · R4 · R6 · R7 · R8 · D2 · D3 · D4 · D8 · E1 · E3 · E4 · E5

반복 0.8 은 25 문서 3절, F1 0.6 · 쌍 양성 30 은 52 문서의 제안 임계다.

출처: 관문 상태 = manifest compliance.gate(eval/reliability-gate/gate.json) · 정책 = 유저 결정 10/26 · 관문 설계 = 52 · 53c · 63 문서(vault story-explore)

1부 · 지금

신뢰도를 확보한 18장의 결함 비율

막대 = 운영 원문 2,000 의 결함 비율(낮을수록 좋다). 단위가 카드마다 달라 막대끼리 크기를 견주지 않는다. 목표는 결함 0%(유저 지시 10/27).

G1 유형이 원문에 맞지 않음 생성 · 질의
5.4%
G3 원문 항목이 YAML 에서 빠짐 생성 · 질의
2.7%
G8 원문에 없는 내용을 지어냄 생성 · 질의
2.4%
B2 카테고리가 컴포넌트에 맞지 않음 색인 · 장
0.36%
P1 structure map 이 노드 역할에 맞지 않음 색인 · 장
6.6%
P2 경계 안 core 글이 어느 자리에도 묶이지 않음 색인 · 장
0.22%
R4 온전하지 않은 컴포넌트를 제공 검색 · 장
0.79%
R6 더 온전한 후보가 아래 순위에 있음 검색 · 짝
13.5%
R7 상위 10 안에 같은 모양 중복 검색 · 상위 10
1.5%
R8 경계 밖 차트 · 표가 남는 후보를 피하지 못함 검색 · 장
1.7%
D2 질의 글이 결과에 없음 대치 · 자리
2.2%
D3 질의 글이 다른 자리에 들어감 대치 · 자리
1.5%
D4 제목 자리가 있는데 문서 제목이 빠짐 대치 · 장
1.9%
D8 글이 상자를 벗어나거나 겹침 대치 · 장
5.2%
E1 뜻이 보존되지 않음 종합 · 장
0.39%
E3 채워지지 않은 자리가 보임 종합 · 장
7.8%
E4 글이 다 읽히지 않음 종합 · 장
2.2%
E5 정보 구조와 순서가 흐려짐 종합 · 장
10.5%

출처: manifest compliance.measured(조건 O2k) · 기본 카드 = core-cards-1026.json meta.core_ids

1부 · 지금

결함은 고르게 퍼져 있지 않다: 카드마다 가장 큰 원인 하나, 일부 카드는 소수 템플릿에 몰린다

카드별 가장 큰 원인의 몫

E1 이름과 값의 짝이 바뀜 (제안)
90%
D2 본문 글 빠짐
78%
E5 한 묶음이 여러 카드 · 상자로 나뉨 (제안)
69%
G3 병렬 항목 추출 누락
60%
D4 표 · 차트와 entities 가 함께 있는 장
59%
G8 근거 없는 의미 추가
57%
G1 원문 표를 표 아닌 유형으로 바꿈 (제안)
56%
E3 템플릿 원문 남음
53%
R4 자리 모자란 후보를 위에 둠
53%
E4 가림 · 겹침 (제안)
52%
R8 검색 비용이 아주 조금 낮음(글자 줄임 벌점, 0.001 미만)
50%
R6 원본 템플릿 글
46%
P1 차트 카테고리에 entity (제안)
42%
D3 표 · 차트(matrix)와 entities 가 함께 있는 장
40%
D8 겹침 / 그림 · 사진 · 장식 (제안)
36%

결함이 템플릿(DO)에 몰리는 정도

카드상위 10 DO 의 결함 몫그 DO 의 노출 몫결함 절반을 채우는 DO 수
R897%2%2
D476%2%1
R665%22%4
E152%10%9
E351%4%10
B250%0%10
D250%3%11
P248%0%11
E426%1%39
R418%1%56
D816%2%71
D312%2%103
E510%2%132

두 몫의 차이가 클수록 소수 템플릿에 몰린다. 전체 28,457장은 템플릿 5,481개에서 나온다.

출처: 원인 = 카드별 상세 장의 「어디에 몰리나」(80 문서 · 66 문서 · manifest 액션 · 이 덱 계산) · DO 집중 = 80 문서 3절과 같은 셈

1부 · 카드별 · 생성

G1유형이 원문에 맞지 않음생성 단계신뢰도 확보

가장 큰 원인은 「원문 표를 표 아닌 유형으로 바꿈」(56%)이다.

무엇을 결함으로 세나

생성이 고른 유형이 원문의 중심 구조를 담지 못한 질의를 센다. 고를 수 있는 18종 안에 맞는 종이 없어 넓은 종으로 접은 것은 결함이 아니다.

세는 단위: 질의 · 근거: l1-system-v3.txt:296-297 · l1-system-v3.txt:321-322

얼마나

5.4%

106 / 1,961 질의 · 95% 구간 4.5–6.5%

어디에 몰리나

원인 상위 3 제안 (결함 106 기준)

원문 표를 표 아닌 유형으로 바꿈
59 56%
맞는 종을 두고 다른 종을 고름
13 12%
원문에 없는 순서 · 단계 · 비교를 지어냄
12 11%

분류 안 됨 15% · 출처: 게시본 G1 셀 측정기 근거 글 낱말 규칙(이 덱 계산)

생성 단계 카드라 템플릿(DO)과 무관하다.

조건별 결함 비율에 1.5배 넘는 차가 없다.

실제 예시

원문
| 출석 | 중간고사 | 기말고사 | 과제물(평소) 점수 | 합계 |
| --- | --- | --- | --- | --- |
| 20점 | 30점 | 30점 | 20점 | 100점 |
생성 YAML
title: 평가 항목별 배점
- type: Enumeration.List
- label: 합계 100점
items:
- 출석 20점
- 중간고사 30점
- 기말고사 30점 … (+1줄)

결함 원문은 머리글과 한 행으로 된 표인데, 생성이 Enumeration.List 로 바꿔 행과 열을 잃었다.

이 수치를 믿을 수 있나

LLM 카드 · 반복 일치 0.99 · 모델 쌍 라벨 대비 정밀도 0.71 · 재현율 0.98 · F1 0.83(쌍 양성 65)

액션

  • 생성이 원문 표를 표 유형으로, 병렬 항목을 빠짐없이 옮기게 한다 (생성 · l1-system-v3.txt(:26 · :300–304 · :321) · 같은 원인 카드 G3)
  • 생성 프롬프트에 행, 열, 열 제목, 매트릭스가 있으면 표 유형을 우선 선택하도록 추가한다. (생성 · l1-system-v3.txt:316–328)

출처: 값 = manifest compliance.measured(카드 G1, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 생성

G3원문 항목이 YAML 에서 빠짐생성 단계신뢰도 확보

가장 큰 원인은 「병렬 항목 추출 누락」(60%)이고, 여러 칸 질의에서 나머지보다 3.0배 잦다.

무엇을 결함으로 세나

원문에 있는 항목(병렬 항목 · 절 · 표의 행과 열)이 생성 YAML 에 통째로 빠진 질의를 센다.

세는 단위: 질의 · 근거: l1-system-v3.txt:281-282 · l1-system-v3.txt:115

얼마나

2.7%

51 / 1,898 질의 · 95% 구간 2.0–3.5%

어디에 몰리나

원인 상위 3 (몫)

병렬 항목 추출 누락 생성
60%
섹션 항목 보존 실패 생성
28%

출처: manifest G3 액션 원인 몫(표본 101)

생성 단계 카드라 템플릿(DO)과 무관하다.

차가 큰 조건 여러 칸 질의 5.7%(22 / 385) 대 나머지 1.9% (관찰값, 진단용)

실제 예시

원문
3. 생각에서 실천으로
사상 → 현장 실천 → 현실 변화 → 경험·학습 → 새로운 사상
- 평론 : 현실을 바라보고 문제를 제기
- 실천 : 현실에 직접 개입하고 변화
- 실천 과정에서 새로운 경험과 지혜 축적
- 변화된 현실이 다시 새로운 생각으로 이어짐
생성 YAML
title: 3. 생각에서 실천으로
- type: Cycle.Cycle
- label: 사상
items:
- 현실을 바라보고 문제를 제기
- label: 현장 실천
items: … (+10줄)

결함 원문의 「평론」과 「실천」 항목이 생성 YAML 에 없다.

이 수치를 믿을 수 있나

LLM 카드 · 반복 일치 0.99 · 모델 쌍 라벨 대비 정밀도 0.57 · 재현율 0.72 · F1 0.64(쌍 양성 31)

액션

  • 생성이 원문 표를 표 유형으로, 병렬 항목을 빠짐없이 옮기게 한다 (생성 · l1-system-v3.txt(:26 · :300–304 · :321) · 같은 원인 카드 G1)
  • 생성 프롬프트에 원문의 병렬 나열과 하위 항목을 빠짐없이 items, dataset으로 추출하도록 명시한다. (생성 · l1-system-v3.txt:26)

출처: 값 = manifest compliance.measured(카드 G3, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 생성

G8원문에 없는 내용을 지어냄생성 단계신뢰도 확보

가장 큰 원인은 「근거 없는 의미 추가」(57%)이고, 여러 칸 질의에서 나머지보다 3.0배 잦다.

무엇을 결함으로 세나

원문에 없는 사실 · 수치 · 인과 주장이 생성 YAML 에 생긴 질의를 센다.

세는 단위: 질의 · 근거: l1-system-v3.txt:174-175 · l1-system-v3.txt:200-201

얼마나

2.4%

46 / 1,898 질의 · 95% 구간 1.8–3.2%

어디에 몰리나

원인 상위 3 (몫)

근거 없는 의미 추가 생성
57%
수치, 단위 전사 오류 생성
21%
원문 의미 변질 생성
15%

출처: manifest G8 액션 원인 몫(표본 82)

생성 단계 카드라 템플릿(DO)과 무관하다.

차가 큰 조건 여러 칸 질의 5.2%(20 / 385) 대 나머지 1.7% (관찰값, 진단용)

실제 예시

원문
크리스 랭건
매우 높은 IQ와 뛰어난 재능
불우한 가정환경, 부족한 협상 경험
장학금 중단 문제를 해결하지 못하고 자퇴
학계를 떠나 경비원 등으로 생활
로버트 오펜하이머
뛰어난 지능을 가진 물리학자 … (+3줄)
생성 YAML
title: 크리스 랭건과 로버트 오펜하이머
- type: AttributeComparison.Versus
- label: 크리스 랭건
items:
- 매우 높은 IQ와 뛰어난 재능
- 불우한 가정환경, 부족한 협상 경험
- 장학금 중단 문제를 해결하지 못하고 자퇴 … (+11줄)

결함 「가정환경과 협상 경험의 차이로 상반된 경로를 걸었다」는 원문에 없는 인과 주장이다.

이 수치를 믿을 수 있나

결함이 드문 카드 관문 · 반복 일치 0.98 · 모델 쌍 무결함 정확도 · 주입 재현율 · 측정기 결함 사람 확인

액션

  • 생성 프롬프트에 원문에 명시된 사실만 추출하고 빈 정보, 관계, 평가를 보완하지 않도록 제한한다. (생성 · l2-system-v3.txt:118, 214–215)
  • 생성 프롬프트에 수치, 단위, 집계 범위를 원문 그대로 전사하고 누락값을 추정하지 않도록 강화한다. (생성 · l2-system-v3.txt:118, 214–215)

출처: 값 = manifest compliance.measured(카드 G8, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 색인

B2카테고리가 컴포넌트에 맞지 않음색인 단계신뢰도 확보

결함의 50%가 템플릿 10개에서 나온다이다.

무엇을 결함으로 세나

색인이 정한 카테고리가 원본 컴포넌트의 표현과 맞지 않는 컴포넌트를 센다.

세는 단위: 장 · 근거: vault boundary-v12.4.txt:16-17 · vault boundary-v12.4.txt:213

얼마나

0.36%

20 / 5,482 장 · 95% 구간 0.2–0.6%

어디에 몰리나

템플릿(DO) 집중 결함 단위의 50%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 0%). 한 DO 최댓값 DO 11466387 = 1 단위(5%, 그 DO 가 나온 1 단위 중 100%).

차가 큰 조건 질의 유형 「Steps」 1.7%(11 / 639) 대 나머지 0.19% · 여러 칸 질의 0.74%(12 / 1,624) 대 나머지 0.21% (관찰값, 진단용)

실제 예시

B2 결함 예시 결과 그림
결함 쪽 · 1위 686b610f
정상 대비 결과
정상 대비 · 4위

결함 측정기 근거: 네 개의 독립적인 항목이 2×2로 배열되어 있을 뿐, 단계 순서나 절차를 나타내는 연결·순서 표식이 없어 ProcessFlow_Steps는 구조와 맞지 않습니다.

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

이 수치를 믿을 수 있나

결함이 드문 카드 관문 · 반복 일치 1.00 · 모델 쌍 무결함 정확도 · 주입 재현율 · 측정기 결함 사람 확인

액션

액션 집계가 없다.

출처: 값 = manifest compliance.measured(카드 B2, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 색인

P1structure map 이 노드 역할에 맞지 않음색인 단계신뢰도 확보

가장 큰 원인은 「차트 카테고리에 entity」(42%)이다. 템플릿마다 한 단위라 원인은 템플릿이 아니라 색인 규칙 쪽에 있다.

무엇을 결함으로 세나

색인이 정한 structure map(어느 노드가 어느 항목의 label · items · value 자리인가)이 원본 노드 역할에 맞지 않는 컴포넌트를 센다. label 은 필수라, 글 노드 하나뿐인 항목은 그 노드가 label 인 것이 맞다(schema-v0.5).

세는 단위: 장 · 근거: property-v8.txt:10-12(운영 판 · 일부 행은 v7)

얼마나

6.6%

360 / 5,482 장 · 95% 구간 5.9–7.3%

어디에 몰리나

원인 상위 3 제안 (결함 360 기준 · 한 단위가 여러 원인에 걸림)

차트 카테고리에 entity
150 42%
전체 제목 · 부제를 항목 필드에
74 21%
이름 · 설명(수치 · 기간) 필드 뒤바꿈
67 19%

분류 안 됨 10% · 출처: 86 문서 4절(eval/p1v5-1027/causes-v5.json, 낱말 규칙 · 한 단위가 여러 묶음에 걸치면 모두 셈)

템플릿마다 한 단위라 DO 집중은 말할 수 없다.

차가 큰 조건 표 · 차트 질의 23.9%(158 / 660) 대 나머지 4.2% · 질의 유형 「Timeline」 12.5%(43 / 345) 대 나머지 6.2% (관찰값, 진단용)

실제 예시

P1 원본 컴포넌트(빨간 상자 = 색인 경계)
결함 쪽 · 원본 컴포넌트
정상 대비 원본 컴포넌트
정상 대비 · LineAreaChart 원본 — structure map 결함 아님

결함 MagnitudeRanking_BarChart 는 matrix 만 허용하는 차트 카테고리인데 entity 유닛이 만들어져 노드 1개가 묶였다(측정기 5회 답 1 · 1 · 1 · 1 · 1, 86 문서 4절).

이 수치를 믿을 수 있나

LLM 카드 · 반복 일치 0.99 · 모델 쌍 라벨 대비 정밀도 0.91 · 재현율 1.00 · F1 0.95(쌍 양성 40)

액션

  • 차트 카테고리는 entities 를 비우고, 전체 제목을 항목 필드에 묶지 않게 한다 (색인 · IIS property 프롬프트(운영 판 property-v8, 일부 v7) · 같은 원인 카드 D3 · D4)

출처: 값 = manifest compliance.measured(카드 P1, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 색인

P2경계 안 core 글이 어느 자리에도 묶이지 않음색인 단계신뢰도 확보

가장 큰 원인은 「경계 안 core 글이 목록 밖에 남음」(100%)이고, 결함의 48%가 템플릿 10개에서 나온다.

무엇을 결함으로 세나

경계 안의 core 글 노드가 structure map 어디에도 묶이지 않아, 대치가 덮지 못하고 템플릿 원문이 그대로 남는 결과 장을 센다.

세는 단위: 장 · 근거: wiki iis-consistency-gate.md:33

얼마나

0.22%

63 / 28,457 장 · 95% 구간 0.2–0.3%

어디에 몰리나

원인 상위 3 (결함 63 기준)

경계 안 core 글이 목록 밖에 남음 로직
63 100%

분류 꼬리표(로직 · 규약 미정 · 정답 모호)는 제안 · 출처: 게시본 P2 셀 규칙 근거(residue_core)

템플릿(DO) 집중 결함 단위의 48%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 0%). 한 DO 최댓값 DO 12318673 = 10 단위(16%, 그 DO 가 나온 10 단위 중 100%).

차가 큰 조건 한 칸 질의 0.43%(60 / 14,106) 대 나머지 0.02% · 질의 유형 「Steps」 0.76%(20 / 2,625) 대 나머지 0.17% (관찰값, 진단용)

실제 예시

P2 결함 예시 결과 그림
결함 쪽 · 9위 dc9d4129
정상 대비 결과
정상 대비 · 1위

결함 세 칸 머리의 「"강조"」 글이 어느 자리에도 묶이지 않아 템플릿 원문으로 남았다.

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

이 수치를 믿을 수 있나

규칙 카드 · 사람 검수 20/20 표본(결함 쪽 10 · 결함 아님 쪽 10) 중 규칙이 맞음 20

액션

  • 템플릿 안내문 · 견본 글이 대치되지 않고 남는 자리를 색인 목록에 넣는다 (색인 · 대치 · structure map 목록(inside · unit_field) — 코드 위치 확인 필요 · 같은 원인 카드 E3 · R6)
  • 색인 property 단계가 경계 안 core 글 노드를 유닛 필드나 위성에 묶는다 (색인 · aippt/src/lib/visual-summary/iis/extractProperty.ts)

출처: 값 = manifest compliance.measured(카드 P2, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 검색

R4온전하지 않은 컴포넌트를 제공검색 단계신뢰도 확보

가장 큰 원인은 「자리 모자란 후보를 위에 둠」(53%)이고, 질의 유형 「Timeline」에서 나머지보다 2.8배 잦다.

무엇을 결함으로 세나

자리가 모자라 글이 합쳐지거나 자리가 남는 후보를 냈는데, 같은 칸 아래 순위에 온전한 후보가 있었던 결과 장을 센다. 풀에 온전한 후보가 없는 공급 부족은 세지 않는다.

세는 단위: 장 · 근거: wiki capability-table.md:454 · wiki l1-l2-result-display-blueprint.md:66

얼마나

0.79%

226 / 28,457 장 · 95% 구간 0.7–0.9%

어디에 몰리나

원인 상위 3 (결함 226 기준)

자리 모자란 후보를 위에 둠 로직
119 53%
자리 남는 후보를 위에 둠 로직
107 47%

분류 꼬리표(로직 · 규약 미정 · 정답 모호)는 제안 · 출처: 66 문서 R4 절

템플릿(DO) 집중 결함 단위의 18%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 1%). 한 DO 최댓값 DO 13134939 = 9 단위(4%, 그 DO 가 나온 41 단위 중 22%).

차가 큰 조건 질의 유형 「Timeline」 2.2%(13 / 598) 대 나머지 0.76% · 표 · 차트 아닌 질의 0.93%(200 / 21,562) 대 나머지 0.38% (관찰값, 진단용)

실제 예시

결과 그림
YAML 몫 · 결과 1위 73039b1a
- label: 디지털 리터러시 수준
items:
- sns, 스마트폰 활용도 높음
- 정보 판별력은 대체로 낮음
- 디지털 도구 사용 기술은 개인별 격차가 큼 … (+9줄)
결과 자리 ← 들어간 글
items ← * 정보 판별력은 대체로 낮음 / * 디지털 도구 사용 기술은 개인별 격차가 큼
items ← * 진로 활동 적용 실천 역량 미흡 / * 디지털 공간에서의 주체적인 셀프 브랜딩 경험 부족
label ← 디지털 리터러시 수준 … (+7줄)

결함 YAML 의 첫 항목과 셋째 항목은 items 가 셋인데 컴포넌트 자리는 둘이다. 둘째 자리에 두 줄이 합쳐 들어갔다. 같은 칸 아래 순위에 자리가 맞는 후보가 있었다(규칙 판정).

이 수치를 믿을 수 있나

규칙 카드 · 결함 사례 15건 열람 뒤 판정 기준을 유저가 정책으로 정함(규칙 설계 검증 기록)

액션

  • 검색 비용 순위가 같은 슬롯의 아래 온전 후보를 자리 모자란 후보보다 위로 올린다 (검색 · comp-frame-core/src/rank.rs:678–680, 697–725)
  • 검색 비용 순위가 같은 슬롯의 아래 온전 후보를 자리 남는 후보보다 위로 올린다 (검색 · comp-frame-core/src/rank.rs:1003, 2213)

출처: 값 = manifest compliance.measured(카드 R4, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 검색

R6더 온전한 후보가 아래 순위에 있음검색 단계신뢰도 확보

가장 큰 원인은 1위 쪽에 남은 「원본 템플릿 글」(46%)이고, 결함 짝의 65%가 템플릿 10개에서 나온다.

무엇을 결함으로 세나

같은 칸의 1위와 2–10위를 짝지어, 아래 후보가 자기 몫을 더 온전하게 담은 짝(순위 역전)을 센다. 온전함 = 질의 글이 다 읽히고 본문에 템플릿 잔재가 없음.

세는 단위: 짝 · 근거: wiki l1-l2-result-display-blueprint.md:66-69 · wiki content-binding-contract.md:293

얼마나

13.5%

3,103 / 22,924 짝 · 95% 구간 13.1–14.0%

어디에 몰리나

원인 상위 3 (결함 3,103 기준 · 한 단위가 여러 원인에 걸림)

원본 템플릿 글
1,436 46%
견본 차트 · 표 수치 · 범례
940 30%
임시 문구(본문 자리)
764 25%

분류 안 됨 9% · 출처: 80 문서(eval/cause-attribution-1027/summary.json)

템플릿(DO) 집중 결함 단위의 65%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 22%). 한 DO 최댓값 DO 13637815 = 700 단위(23%, 그 DO 가 나온 945 단위 중 74%).

차가 큰 조건 질의 유형 「LongFormTextLayout」 33.9%(440 / 1,299) 대 나머지 12.3% · 한 칸 질의 16.4%(2,220 / 13,559) 대 나머지 9.4% (관찰값, 진단용)

실제 예시

1위 후보
결함 쪽 · 1위
5위 후보
정상 대비 · 5위

결함 1위(왼쪽)에 견본 차트 수치 · 범례(「95%」 「학업성취도 (20XX년)」)가 남았고, 5위(오른쪽)는 질의 글만 깨끗이 담았다.

이 수치를 믿을 수 있나

LLM 카드 · 반복 일치 0.97 · 모델 쌍 라벨 대비 정밀도 0.95 · 재현율 0.77 · F1 0.85(쌍 양성 125)

액션

  • 검색 비용에 경계 밖 차트 · 표 벌점을 더한다 (검색 · 색인 · comp-frame-core/src/cost.rs cost_of · comp-frame-shared/src/outsideText.ts · 같은 원인 카드 R8 · E3)
  • 템플릿 안내문 · 견본 글이 대치되지 않고 남는 자리를 색인 목록에 넣는다 (색인 · 대치 · structure map 목록(inside · unit_field) — 코드 위치 확인 필요 · 같은 원인 카드 E3 · P2)

출처: 값 = manifest compliance.measured(카드 R6, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 검색

R7상위 10 안에 같은 모양 중복검색 단계신뢰도 확보

가장 큰 원인은 「같은 모양 중복」(100%)이다.

무엇을 결함으로 세나

상위 10 안에 배치와 구성이 같고 색과 장식만 다른 컴포넌트가 중복해 나온 질의를 센다.

세는 단위: 상위 10 · 근거: wiki pipeline-flow.md:81 · wiki content-binding-contract.md:255

얼마나

1.5%

29 / 1,962 상위 10 · 95% 구간 1.0–2.1%

어디에 몰리나

원인 상위 3 (몫)

같은 모양 중복 검색
100%

출처: manifest R7 액션 원인 몫(규칙 전수 2)

조건별 결함 비율에 1.5배 넘는 차가 없다.

실제 예시

R7 결함 예시 결과 그림
결함 쪽 · 1위 63bc0eea

결함 측정기 근거: 1·4번이 같은 모양이고, 3·9·10번도 같은 모양으로 중복됩니다.

이 수치를 믿을 수 있나

규칙 카드 · 사람 검수 30/30 표본(결함 쪽 28 · 결함 아님 쪽 2) 중 규칙이 맞음 30

액션

  • 검색이 상위 10 에서 같은 지문, 동형 후보를 하나만 남긴다 (검색 · comp-frame-core/src/rank.rs:842–871)

출처: 값 = manifest compliance.measured(카드 R7, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 검색

R8경계 밖 차트 · 표가 남는 후보를 피하지 못함검색 단계신뢰도 확보

결함 장의 97%가 템플릿 10개에서 나오고, 검색 비용에 경계 밖 차트 · 표 벌점을 더하면 452 / 493 장이 사라진다(시뮬레이션).

무엇을 결함으로 세나

후보의 경계 밖에 사용자 글을 받지 못하는 차트 · 표가 있고, 같은 칸 아래 순위에 그런 요소가 없는 온전한 후보가 있었던 결과 장을 센다. 대안이 없으면 공급 부족이라 세지 않는다.

세는 단위: 장 · 근거: vault 47-decisions-1020.md 결정 1(12행)

얼마나

1.7%

493 / 28,457 장 · 95% 구간 1.6–1.9%

어디에 몰리나

원인 상위 3 (결함 493 기준)

검색 비용이 아주 조금 낮음(글자 줄임 벌점, 0.001 미만)
248 50%
검색 비용이 낮음(대안이 장을 더 씀)
152 31%
검색 비용이 같아 DO 번호 순으로 갈림
28 6%

출처: 80 문서(eval/cause-attribution-1027/summary.json)

템플릿(DO) 집중 결함 단위의 97%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 2%). 한 DO 최댓값 DO 13639886 = 161 단위(33%, 그 DO 가 나온 342 단위 중 47%).

차가 큰 조건 결과 컴포넌트 범주 「HighlightedMessage」 6.8%(240 / 3,544) 대 나머지 1.0% · 1위 장 4.6%(124 / 2,689) 대 나머지 1.4% (관찰값, 진단용)

실제 예시

R8 결함 예시 결과 그림
결함 쪽 · 1위 01f9b1dd
정상 대비 결과
정상 대비 · 3위

결함 경계에 질의 글을 넣었지만 경계 밖 견본 차트(「95%」 「80%」)가 그대로다.

정상 대비 같은 칸 3위: 경계 밖 요소가 없는 온전한 후보. 비용 차가 0.001 미만이라 아래에 있다.

이 수치를 믿을 수 있나

규칙 카드 · 사람 검수 20/20 표본(결함 쪽 10 · 결함 아님 쪽 10) 중 규칙이 맞음 20

액션

  • 검색 비용에 경계 밖 차트 · 표 벌점을 더한다 (검색 · 색인 · comp-frame-core/src/cost.rs cost_of · comp-frame-shared/src/outsideText.ts · 같은 원인 카드 R6 · E3)

출처: 값 = manifest compliance.measured(카드 R8, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 대치

D2질의 글이 결과에 없음대치 단계신뢰도 확보

가장 큰 원인은 「본문 글 빠짐」(78%)이고, 결함의 50%가 템플릿 10개에서 나온다.

무엇을 결함으로 세나

질의 YAML 몫의 글이 결과 컴포넌트 어디에도 보이지 않는 질의 자리를 센다.

세는 단위: 자리 · 근거: wiki content-binding-contract.md:601(3.7.3) · wiki capability-table.md:286

얼마나

2.2%

6,505 / 302,435 자리 · 95% 구간 2.1–2.2%

어디에 몰리나

원인 상위 3 (몫)

본문 글 빠짐 검색
78%
번호 접두가 순번 표식으로 감 평가기
16%
4자 미만 글이 노드 글 안에 있음 평가기
6%

출처: manifest D2 액션 원인 몫(규칙 전수 10,602)

템플릿(DO) 집중 결함 단위의 50%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 3%). 한 DO 최댓값 DO 13640773 = 625 단위(10%, 그 DO 가 나온 1,530 단위 중 41%).

차가 큰 조건 표 · 차트 질의 36.5%(6,505 / 17,825) 대 나머지 0.00% · 질의 유형 「ListingTable」 43.0%(6,505 / 15,140) 대 나머지 0.00% (관찰값, 진단용)

실제 예시

D2 결함 예시 결과 그림
결함 쪽 · 1위 0148c645

결함 규칙 판정(근거 글 없음)

이 수치를 믿을 수 있나

규칙 카드 · 사람 검수 20/20 표본(결함 쪽 6 · 결함 아님 쪽 14) 중 규칙이 맞음 20

액션

  • align 이 조용히 버리는 질의 글을 ContentLoss 벌점과 배제에 넣는다 (검색 · comp-frame-core/src/align.rs:620, 351–361, 373–383, 999)
  • D2 규칙이 글머리 번호를 떼고 맞대게 한다(평가기) (평가기 고침 · tools/rules.py:153–160)

출처: 값 = manifest compliance.measured(카드 D2, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 대치

D3질의 글이 다른 자리에 들어감대치 단계신뢰도 확보

가장 큰 원인은 「표 · 차트(matrix)와 entities 가 함께 있는 장」(40%)이고, 표 · 차트 질의에서 나머지보다 20.7배 잦다.

무엇을 결함으로 세나

질의 글이 결과에는 있지만 질의의 필드(제목 · label · items 등)와 다른 역할의 자리에 들어간 질의 자리를 센다.

세는 단위: 자리 · 근거: 2026-10-12-mor-2627-replacement-policy-design.md:127-128 · wiki capability-table.md:284

얼마나

1.5%

2,046 / 140,815 자리 · 95% 구간 1.4–1.5%

어디에 몰리나

원인 상위 3 (몫)

표 · 차트(matrix)와 entities 가 함께 있는 장
40%
다른 필드 노드에 들어감
34%
제목이 제목 아닌 필드로 감
22%

출처: 66 문서 D3 절(문서 집계 기준 몫)

템플릿(DO) 집중 결함 단위의 12%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 2%). 한 DO 최댓값 DO 13619803 = 35 단위(2%, 그 DO 가 나온 89 단위 중 39%).

차가 큰 조건 표 · 차트 질의 21.0%(684 / 3,259) 대 나머지 1.0% · 질의 유형 「HighlightedMessage」 2.8%(210 / 7,433) 대 나머지 1.4% (관찰값, 진단용)

실제 예시

결과 그림
YAML 몫 · 결과 10위 aa31dff3
- label: DSPT
- label: DSNW
- label: DSNT
shape: matrix
columns: … (+13줄)
결과 자리 ← 들어간 글
cell ← DSPT
header ← 유형
header ← 해석 … (+27줄)

결함 YAML 이 「DSPT」를 entity label 과 표의 행 머리에 함께 두었다. 결과에서 그 글은 표 칸(cell)에 들어가 label 자리 어긋남으로 세진다. 가장 큰 원인 묶음(규약 미정)의 꼴이다.

이 수치를 믿을 수 있나

규칙 카드 · 결함 사례 36건 열람 뒤 판정 기준을 유저가 정책으로 정함(규칙 설계 검증 기록)

액션

  • 차트 카테고리는 entities 를 비우고, 전체 제목을 항목 필드에 묶지 않게 한다 (색인 · IIS property 프롬프트(운영 판 property-v8, 일부 v7) · 같은 원인 카드 P1 · D4)
  • 질의 글을 같은 binding 필드 자리에 넣고, 넘친 글을 다른 필드(label) 자리로 돌리는 경로를 점검한다 (검색 · comp-frame-core/src/align.rs:427–446)

출처: 값 = manifest compliance.measured(카드 D3, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 대치

D4제목 자리가 있는데 문서 제목이 빠짐대치 단계신뢰도 확보

가장 큰 원인은 「표 · 차트와 entities 가 함께 있는 장」(59%)이고, 결함의 76%가 템플릿 10개에서 나온다.

무엇을 결함으로 세나

컴포넌트에 제목 자리가 있는데 결과에 질의 문서 제목이 들어가지 않은 결과 장을 센다.

세는 단위: 장 · 근거: vault 21-replace-cards.md:18(요약)

얼마나

1.9%

542 / 28,446 장 · 95% 구간 1.8–2.1%

어디에 몰리나

원인 상위 3 (결함 542 기준)

표 · 차트와 entities 가 함께 있는 장 규약 미정
321 59%
들어갈 자리 없는 frame 을 고름 로직
103 19%
inside 목록 처리 규약 미정
61 11%

그 밖 묶음 1개 · 분류 꼬리표(로직 · 규약 미정 · 정답 모호)는 제안 · 출처: 66 문서 D4 절

템플릿(DO) 집중 결함 단위의 76%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 2%). 한 DO 최댓값 DO 13639886 = 342 단위(63%, 그 DO 가 나온 342 단위 중 100%).

차가 큰 조건 결과 컴포넌트 범주 「ListingTable」 6.0%(342 / 5,734) 대 나머지 0.88% · 표 · 차트 질의 5.0%(344 / 6,884) 대 나머지 0.92% (관찰값, 진단용)

실제 예시

결과 그림
YAML 몫 · 결과 10위 078d5efc
title: 장비 구축 및 집행 현황
- type: ProcessFlow.Steps
- label: 40대 추가 구축
- label: 총 80대 활용 가능
- type: TextBasedCommunication.HighlightedMessage … (+1줄)
결과 자리 ← 들어간 글
label ← 40대 추가 구축
label ← 총 80대 활용 가능

결함 YAML 제목은 「장비 구축 및 집행 현황」인데 제목 자리에 임시 문구 「"제목을 입력해주세요."」가 남았다.

정상 대비 같은 칸 1위(078d5efc)는 이 카드 결함이 아니다.

이 수치를 믿을 수 있나

규칙 카드 · 결함 사례 8건 열람 뒤 판정 기준을 유저가 정책으로 정함(규칙 설계 검증 기록)

액션

  • 차트 카테고리는 entities 를 비우고, 전체 제목을 항목 필드에 묶지 않게 한다 (색인 · IIS property 프롬프트(운영 판 property-v8, 일부 v7) · 같은 원인 카드 P1 · D3)
  • 대치가 문서 제목을 제목 자리에 넣는다(다른 노드 글 속 제목은 자리를 대신하지 않는다) (대치 · comp-frame-shared/src/forked/titleCandidate.ts:250–258)

출처: 값 = manifest compliance.measured(카드 D4, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 대치

D8글이 상자를 벗어나거나 겹침대치 단계신뢰도 확보

가장 큰 원인은 「겹침 / 그림 · 사진 · 장식」(36%)이고, 표 · 차트 아닌 질의에서 나머지보다 2.0배 잦다.

무엇을 결함으로 세나

대치한 글이 상자를 넘치거나 다른 글 · 장식과 겹친 결과 장을 센다.

세는 단위: 장 · 근거: wiki poc-guide.md:395 · vault 01-discussion-frame.md §2.2(30–38행)

얼마나

5.2%

1,492 / 28,445 장 · 95% 구간 5.0–5.5%

어디에 몰리나

원인 상위 3 제안 (결함 1,492 기준)

겹침 / 그림 · 사진 · 장식
530 36%
상자 넘침 / 본문 · 글줄
253 17%
겹침 / 본문 · 글줄
111 7%

출처: 80 문서(eval/cause-attribution-1027/summary.json)

템플릿(DO) 집중 결함 단위의 16%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 2%). 한 DO 최댓값 DO 11319261 = 36 단위(2%, 그 DO 가 나온 66 단위 중 55%).

차가 큰 조건 표 · 차트 아닌 질의 6.0%(1,288 / 21,552) 대 나머지 3.0% · 결과 컴포넌트 범주 「Steps」 8.9%(245 / 2,748) 대 나머지 4.9% (관찰값, 진단용)

실제 예시

D8 결함 예시 결과 그림
결함 쪽 · 4위 04c69a14
정상 대비 결과
정상 대비 · 1위

결함 카드의 흰색 숫자 2와 3이 위쪽 빨간 삼각형 배지와 겹쳐 일부 가려졌다.

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

이 수치를 믿을 수 있나

LLM 카드 · 반복 일치 0.99 · 모델 쌍 라벨 대비 정밀도 0.81 · 재현율 1.00 · F1 0.90(쌍 양성 39)

액션

  • 글상자에 장식 회피 영역을 두고, 넘칠 글은 줄인다 (색인 · 대치 · comp-sign/src/comp-match/helpers.ts · comp-frame-index/src/lib/shapeGrowthRoom.ts · 같은 원인 카드 E4)
  • 글상자 확장의 장애물에 그림, 장식 잎을 넣고 text_capacity 를 다시 굽는다 (색인 · comp-sign/src/comp-match/helpers.ts:1195–1209, 1912, 1947–1957)

출처: 값 = manifest compliance.measured(카드 D8, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 종합

E1뜻이 보존되지 않음종합 단계신뢰도 확보

가장 큰 원인은 「이름과 값의 짝이 바뀜」(90%)이고, 결함의 52%가 템플릿 10개에서 나온다.

무엇을 결함으로 세나

대치 결과가 그 장의 YAML 몫과 다른 뜻을 보이는 결과 장을 센다: 부정 · 조건이 빠져 반대 뜻, 이름과 값의 짝이 바뀜, YAML 에 없는 시간 순서 표지가 붙음.

세는 단위: 장 · 근거: vault 06-axis-skeleton.md §6(60–68행) · l1-system-v3.txt:174-175

얼마나

0.39%

112 / 28,445 장 · 95% 구간 0.3–0.5%

재측정 층으로 추정한 모집단 값이다.

어디에 몰리나

원인 상위 3 제안 (결함 90 기준)

이름과 값의 짝이 바뀜
81 90%
YAML 에 없는 시간 순서 표지가 붙음
6 7%

분류 안 됨 3% · 출처: 게시본 E1 셀 측정기 근거 글 낱말 규칙(이 덱 계산)

템플릿(DO) 집중 결함 단위의 52%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 10%). 한 DO 최댓값 DO 13640751 = 8 단위(9%, 그 DO 가 나온 533 단위 중 2%).

차가 큰 조건 표 · 차트 질의 1.2%(85 / 6,893) 대 나머지 0.02% · 질의 유형 「ListingTable」 1.1%(64 / 5,703) 대 나머지 0.11% (관찰값, 진단용)

실제 예시

E1 결함 예시 결과 그림
결함 쪽 · 3위 391281d5
정상 대비 결과
정상 대비 · 1위

결함 YAML 의 세 항목(지표적 · 심리적 · 사회문화적 이탈)에 템플릿의 「Day 1」 「Week 1」 「Week 2」가 붙어, 없는 시간 순서가 생겼다.

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

이 수치를 믿을 수 있나

LLM 카드 · 반복 일치 1.00 · 모델 쌍 라벨 대비 정밀도 0.71 · 재현율 0.90 · F1 0.79(쌍 양성 63)

액션

  • 색인과 대치에서 표 열, 행 경계 및 반복 structure map를 구조적으로 보존한다. (검색 · comp-frame-core/src/align.rs:883–903)
  • 평가기 질문과 입력에 E1의 허용 항목 및 판독 불확실 시 intact 원칙을 명시한다. (평가기 고침 · cards/E1.yaml:19–22)

출처: 값 = manifest compliance.measured(카드 E1, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 종합

E3채워지지 않은 자리가 보임종합 단계신뢰도 확보

가장 큰 원인은 「템플릿 원문 남음」(53%)이고, 결함의 51%가 템플릿 10개에서 나온다.

무엇을 결함으로 세나

결과 그림에 본문 빈 자리, 대치되지 않은 템플릿 글, 경계 밖에 남은 템플릿 요소가 보이는 결과 장을 센다. 위성 자리(제목 · 부제 · 설명)의 임시 문구는 결함이 아니다.

세는 단위: 장 · 근거: wiki iis-consistency-gate.md:33 · vault 06-axis-skeleton.md §6.3(93–98행)

얼마나

7.8%

2,212 / 28,445 장 · 95% 구간 7.5–8.1%

어디에 몰리나

원인 상위 3 (결함 2,212 기준)

템플릿 원문 남음
1,180 53%
경계 밖 임시 문구 · 원문 남음
634 29%
본문 자리 빔
398 18%

출처: 80 문서(eval/cause-attribution-1027/summary.json)

템플릿(DO) 집중 결함 단위의 51%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 4%). 한 DO 최댓값 DO 13639886 = 342 단위(15%, 그 DO 가 나온 342 단위 중 100%).

차가 큰 조건 결과 컴포넌트 범주 「HighlightedMessage」 16.1%(572 / 3,544) 대 나머지 6.6% · 1위 장 14.8%(399 / 2,688) 대 나머지 7.0% (관찰값, 진단용)

실제 예시

E3 결함 예시 결과 그림
결함 쪽 · 9위 0148c645
정상 대비 결과
정상 대비 · 1위

결함 질의 표는 왼쪽에 들어갔지만, 같은 경계 오른쪽 목록의 「기본 타이틀」 「타이틀에 대한 설명을 작성하세요.」가 그대로 남았다.

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

이 수치를 믿을 수 있나

LLM 카드 · 반복 일치 0.99 · 모델 쌍 라벨 대비 정밀도 0.86 · 재현율 0.90 · F1 0.88(쌍 양성 113)

액션

  • 검색 비용에 경계 밖 차트 · 표 벌점을 더한다 (검색 · 색인 · comp-frame-core/src/cost.rs cost_of · comp-frame-shared/src/outsideText.ts · 같은 원인 카드 R8 · R6)
  • 템플릿 안내문 · 견본 글이 대치되지 않고 남는 자리를 색인 목록에 넣는다 (색인 · 대치 · structure map 목록(inside · unit_field) — 코드 위치 확인 필요 · 같은 원인 카드 R6 · P2)

출처: 값 = manifest compliance.measured(카드 E3, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 종합

E4글이 다 읽히지 않음종합 단계신뢰도 확보

가장 큰 원인은 「가림 · 겹침」(52%)이고, 표 · 차트 질의에서 나머지보다 1.5배 잦다.

무엇을 결함으로 세나

글 노드의 글자가 끊기거나 가려지거나 겹쳐 읽히지 않는 결과 장, 그리고 YAML 몫에 값이 있는데 그 칸이 비어 보이는 결과 장을 센다. 값 · 범례 없는 차트 디자인과 그림 속 글자는 세지 않는다.

세는 단위: 장 · 근거: vault 01-discussion-frame.md §2.2(30–38행) · vault 06-axis-skeleton.md §6.3(93–98행)

얼마나

2.2%

613 / 28,445 장 · 95% 구간 2.0–2.3%

어디에 몰리나

원인 상위 3 제안 (결함 613 기준)

가림 · 겹침
318 52%
잘림
212 35%
값 자리가 비어 보임
74 12%

분류 안 됨 1% · 출처: 게시본 E4 셀 측정기 근거 글 낱말 규칙(이 덱 계산)

템플릿(DO) 집중 결함 단위의 26%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 1%). 한 DO 최댓값 DO 11319261 = 29 단위(5%, 그 DO 가 나온 66 단위 중 44%).

차가 큰 조건 표 · 차트 질의 2.9%(202 / 6,893) 대 나머지 1.9% (관찰값, 진단용)

실제 예시

E4 결함 예시 결과 그림
결함 쪽 · 3위 6957cf9d
정상 대비 결과
정상 대비 · 1위

결함 오른쪽 세 번째 항목의 설명 글이 컴포넌트 오른쪽에서 잘려 일부 읽히지 않는다.

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

이 수치를 믿을 수 있나

LLM 카드 · 반복 일치 0.99 · 모델 쌍 라벨 대비 정밀도 0.60 · 재현율 0.81 · F1 0.69(쌍 양성 38)

액션

  • 글상자에 장식 회피 영역을 두고, 넘칠 글은 줄인다 (색인 · 대치 · comp-sign/src/comp-match/helpers.ts · comp-frame-index/src/lib/shapeGrowthRoom.ts · 같은 원인 카드 D8)
  • 생성 프롬프트와 YAML 스키마에 표, 차트의 모든 값, 라벨, 범례, 필수 설명 채움을 강제한다. (생성 · l2-system-v3.txt:214)

출처: 값 = manifest compliance.measured(카드 E4, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 카드별 · 종합

E5정보 구조와 순서가 흐려짐종합 단계신뢰도 확보

가장 큰 원인은 「한 묶음이 여러 카드 · 상자로 나뉨」(69%)이고, 표 · 차트 아닌 질의에서 나머지보다 2.9배 잦다.

무엇을 결함으로 세나

YAML 몫의 묶음 · 순서 · 관계가 결과에서 흐려진 결과 장을 센다: 한 묶음이 여러 칸으로 갈라짐, 순서 뒤바뀜, 설명이 다른 항목에 붙음.

세는 단위: 장 · 근거: wiki capability-table.md:284 · vault 06-axis-skeleton.md §6.3(93–98행)

얼마나

10.5%

2,975 / 28,443 장 · 95% 구간 10.1–10.8%

어디에 몰리나

원인 상위 3 제안 (결함 2,975 기준)

한 묶음이 여러 카드 · 상자로 나뉨
2,056 69%
설명 · 항목 소속 어긋남(관계 · 위계)
540 18%
읽기 순서 어긋남
257 9%

분류 안 됨 1% · 출처: 80 문서(eval/cause-attribution-1027/summary.json)

템플릿(DO) 집중 결함 단위의 10%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 2%). 한 DO 최댓값 DO 12794427 = 51 단위(2%, 그 DO 가 나온 76 단위 중 67%).

차가 큰 조건 표 · 차트 아닌 질의 12.4%(2,682 / 21,550) 대 나머지 4.3% · 여러 칸 질의 14.4%(2,071 / 14,350) 대 나머지 6.4% (관찰값, 진단용)

실제 예시

E5 결함 예시 결과 그림
결함 쪽 · 1위 2d834f95
정상 대비 결과
정상 대비 · 2위

결함 YAML 에서 한 묶음(「2か月目」 항목 넷)이 두 카드 03 · 04 로 갈라졌다.

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

이 수치를 믿을 수 있나

LLM 카드 · 반복 일치 0.98 · 모델 쌍 라벨 대비 정밀도 0.87 · 재현율 1.00 · F1 0.93(쌍 양성 33)

액션

  • 한 묶음을 여러 칸으로 쪼개지 않게 나눠 담기를 고친다 (검색 · comp-frame-core/src/threading/plan.rs)
  • 나눠 담기에서 한 묶음은 한 카드에 담는 것을 기본으로 둔다 (검색 · comp-frame-core/src/threading/plan.rs:384–403, 494–525)

출처: 값 = manifest compliance.measured(카드 E5, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 · 무엇을 고치나

원인이 좁혀진 결함은 액션 목록이 된다

#액션링크고칠 곳걸린 카드근거
1검색 비용에 경계 밖 차트 · 표 벌점을 더한다검색 · 색인comp-frame-core/src/cost.rs cost_of · comp-frame-shared/src/outsideText.tsR8 · R6 · E3시뮬레이션: R8 결함 493 장 중 452 장, 1위 124 장 중 122 장이 사라진다(71 문서 4절)
2템플릿 안내문 · 견본 글이 대치되지 않고 남는 자리를 색인 목록에 넣는다색인 · 대치structure map 목록(inside · unit_field) — 코드 위치 확인 필요E3 · R6 · P2E3 결함의 53%가 「템플릿 원문 남음」, 결함 장 절반이 템플릿 10개에서(80 문서)
3검색 용량 거름이 렌더러 0.7배 축소와 줄바꿈을 반영하게 한다검색용량 거름(capacity filter)R2(전체)거른 후보의 30.4%가 실제로는 담을 수 있었다(66 문서)
4차트 카테고리는 entities 를 비우고, 전체 제목을 항목 필드에 묶지 않게 한다색인IIS property 프롬프트(운영 판 property-v8, 일부 v7)P1 · D3 · D4P1 결함의 42%가 「차트 카테고리에 entity」(86 문서 4절, 제안)
5글상자에 장식 회피 영역을 두고, 넘칠 글은 줄인다색인 · 대치comp-sign/src/comp-match/helpers.ts · comp-frame-index/src/lib/shapeGrowthRoom.tsD8 · E4D8 결함의 45%가 그림 · 사진 · 장식과 얽힘(80 문서, 제안)
6한 묶음을 여러 칸으로 쪼개지 않게 나눠 담기를 고친다검색comp-frame-core/src/threading/plan.rsE5E5 결함의 69%가 「한 묶음이 여러 카드 · 상자로 나뉨」(80 문서, 제안)
7생성이 원문 표를 표 유형으로, 병렬 항목을 빠짐없이 옮기게 한다생성l1-system-v3.txt(:26 · :300–304 · :321)G1 · G3G3 결함의 60.4%가 「병렬 항목 추출 누락」(표본 101). 고치면 기대할 감소의 상한이다(manifest G3 액션 원인 몫)

순서는 제안. 2번 고칠 곳은 코드 위치 미확인. 「(전체)」 = 기본 밖 전체 카드 근거.

출처: 71 · 80 · 66 · 86 문서 · manifest actions · 기본 카드 = core-cards-1026.json meta.core_ids

1부 · 다음

후속 과제

  1. 기본 품질 측정 항목 신뢰도 확보하기

    • 전체 49장 가운데 관문 통과 30, 사람 라벨 필요 9, 규칙 설계 검증 필요 4, 측정 안 됨 6
    • 신뢰도 미확보 카드(예: B1 · G6)는 측정기를 고친 뒤 관문을 다시 잰다
  2. 기본 품질 결함률 0% 목표 이어가기

    • LLM 프롬프트 개선 작업
    • 규약 – 코드 정합 작업

    예: LLM = G3 생성 프롬프트(원인 몫 60.4%, 기대 감소 상한) · 규약 – 코드 정합 = R8 검색 순위 벌점(시뮬레이션 452/493), 2장

  3. 실제 유저 이용 데이터를 활용해 평가 항목 개선 · 관리하기

    • Visual Summary 이용 유저의 입력 원문과, 그 유저가 받은 결과를 검수한다
    • 새 평가 항목이 필요하면 추가한다(신뢰도를 확보한 뒤 평가에 포함)
  4. 응용 품질 측정 시스템 준비하기

    • 스타일, 여러 장 배치 등 기술 · 기능 개발에 맞춰
    • 그 품질을 측정할 수 있도록 준비한다

    3장 틀의 디자인 · 여러 장 영역(응용)이 대상이다.

출처: 후속 과제 = 유저 지시 10/27 · 1번 수 = manifest compliance.gate.status(eval/reliability-gate/gate.json) · 재관문 = 같은 gate 의 structure 「미통과 → 평가기 고침 뒤 재통과」 · 예시 = manifest G3 actions[0] · eval/cause-attribution-1027/summary.json fix_simulations(R8)

2부

채택률
유저가 결과 컴포넌트를 실제로 채택하는가

2부 · 채택률

VS 채택률은 32.1%다. 짧은 입력과 텍스트형에서 낮다

지금

32.1%

10/21–10/25 · 5,803검색 · 95% 구간 30.6–33.6

일반 L1 30.5% · 표 · 차트 L1 35.3%

전환 전 markdown 대비

일반 35.2% → 30.5% (−4.7%p) 층 맞춤 −4.6 – −5.6

표 · 차트 36.2% → 35.3% (−0.9%p) 차이를 가리지 못함

낮은 칸

  • 18.9% 40자 이하 짧은 입력
  • 18–23% 텍스트형 L1
  • 16–23% 상위 10 이 요청과 다른 갈래
  • 25.5% 상위 10 전부 나눠 담기 · L2

채택률 = 마트 기준(상위 10 안에서 1건 이상 채택). DA 대시보드 KR1 과 정의가 다르다. 10/26 은 마트 미적재.

출처: vault 2026-10-21-vs-basic-story-explore 88a 문서

2부 · 채택률

전환 전 markdown: 무엇이 채택을 움직였나

일반 단일장 22,923검색(채택률 35.2%) · 요인 하나만 바꿨을 때의 KR1 변화. 막대 = 추정, 가는 선 = 95% 구간

여러 장(단일 → 여러 장 + 나눠 담기)일반 전체 28,070검색
-17.3%p (-18.7 – -15.8)
입력 길이 48 → 202자
+10.2%p (+8.7 – +11.6)
순위 1–3 장식 8개 이상
+10.2%p (+7.6 – +12.4)
렌더 4장 미만
-7.2%p (-11.4 – -3.1)
순위 1–3 이미지
+4.5%p (+2.1 – +6.6)
글머리 0 → 4개
-2.1%p (-3.5 – -0.6)
-20-100+10

품질: 크기는 아직 측정되지 않음 → 다음 장

표 · 차트 단일장(13,306검색)에서는 렌더 4장 미만이 −23.4%p 로 가장 크다.

출처: vault 2026-10-21-vs-basic-story-explore 88b 문서 1절

2부 · 채택률

품질과 채택: 방향은 같다, 크기는 아직

LLM judge 등급 전환 전 C-4 · 일반 단일장 110검색 · 926장

장 채택률 PERFECT 10.4% · ACCEPTABLE 9.5% · BAD 7.7%

BAD 아님 − BAD +2.2%p(−1.2 – +5.8)

같은 검색 안 채택 장의 BAD 비율 26.7% 대 비채택 장 32.8%

방향 BAD 장이 덜 채택된다. 표본이 작아 0과 갈리지 않는다.

우리 E7 총평 「그대로 쓰지 않겠다」 신뢰도 관문: 사람 라벨 필요 — 참고 방향

VS 노출 장 재현(8,299장): 같은 검색 · 근처 순위 안 채택 오즈비 0.61 (0.51–0.72)

전환 전 파일럿(50검색): 거부 장 채택률 4.6% 대 나머지 13.4%, 오즈비 0.30 (0.09–0.96)

방향 E7 이 거부한 장은 덜 채택된다. 두 기간 모두 같은 방향이다.

품질 → 채택의 정확한 크기(다른 요인과 같은 잣대의 %p)는 아직 측정되지 않았다. 전환 전 1,000검색 본 측정으로 잰다.

출처: judge 등급 = vault story-explore 41 문서 · E7 노출 장 재현 = 28 문서 · 전환 전 파일럿 = 45 문서

3부

품질과 채택률
기본 품질 결함이 채택에 얼마나 기여하는가

3부 · 품질과 채택률

카드와 채택: 같은 검색 안에서 결함 장은 덜 고른다

VS 노출 장 재현 10/20–10/23 · 장 8,299 · 항목 6,636(채택 1,801) · 재현 순위 일치 93.3% · 신뢰도 관문을 통과한 장 카드 13장만 쓴다

같은 검색 안, 순위 보정 오즈비 (1보다 작으면 덜 채택 · 가는 선 = 95% 구간)

T1 원본에 없던 어색한 줄바꿈
0.84 (0.72–0.98)
R8 경계 밖 차트 · 표가 남는 후보를 피하지 못함
0.50 (0.28–0.88)
D7 표와 차트 칸 값이 다름
0.19 (0.04–0.86)
D8 글이 상자를 벗어나거나 겹침경계
0.77 (0.59–1.00)
0.00.51.0

나머지 아홉 장은 1과 구별되지 않는다.

13장을 함께 보았으므로 약한 신호로 읽는다.

출처: vault 2026-10-21-vs-basic-story-explore 89 문서

3부 · 품질과 채택률

결함이 쌓이면 채택이 내려간다

결함 1개마다

0.86배

통과 카드 13장의 결함 수가 1개 늘 때마다 채택 오즈(95% 구간 0.79–0.94)

결함 수별 채택 오즈 (0개 = 1.0 기준)

1.00
0개
0.86
(0.74–1.00)
1개
구간 1 포함
0.69
(0.56–0.85)
2개
0.66
(0.48–0.92)
3개 이상

옅은 막대 = 95% 구간이 1에 닿는다(1개 칸, 항목 2,678)

4일 표본. 10/21 부터만 보면 0.89(0.81–0.98)로 약해진다 — 기간 확장(10/21–10/25)으로 다시 잰다.

출처: vault 2026-10-21-vs-basic-story-explore 89 문서

3부 · 품질과 채택률

고치면 얼마나, 그리고 전략

크기

결함 → 채택의 정확한 크기(%p)는 아직 측정하지 못했다. 방향과 누적 경향까지가 지금 말할 수 있는 것이다.

  1. 우선순위

    결함 감소 폭 × 채택 연관 × 고치기 쉬움

  2. 버킷 실험

    고친 판은 버킷 실험으로 채택률 변화를 직접 확인한다

  3. 정기 측정

    기본 품질은 정기 측정하고, 채택 지표와 함께 본다

상관이지 인과가 아니다. 기본 품질 0% 목표는 채택과 무관하게 유지한다.

출처: vault 2026-10-21-vs-basic-story-explore 89 문서

1부 부록

측정 환경과 용어

원문9월 실사용 원문 2,000(10자 이상), 질의 1,962 · 상위 10 결과 장 28,457
환경운영 판 그대로: iui comp-pass, 풀 dv2.6, 로컬 재현(조건 O2k)
측정기규칙 카드는 규칙 코드, LLM 카드는 gpt-6-luna 다수결
장 · 자리 · 짝장 = 결과 컴포넌트 한 장 · 자리 = 질의 글 한 칸 · 짝 = 같은 칸의 1위와 k위
structure map색인이 정한 유닛과 필드 대응(어느 노드가 어느 항목의 label · items · value 인가). label 은 필수다(schema-v0.5)
템플릿(DO)검색 후보가 되는 디자이너 원본 컴포넌트
경계 · 경계 밖경계 = 색인이 질의 글을 받는 영역으로 잡은 노드. 경계 밖 = 같은 템플릿에 함께 들어가지만 글을 받지 않는 나머지
부록 카드기본 카드 밖 31장: G0 · G2 · G4 · G5 · G6 · G7 · G9 · G10 · G12 · G13 · B1 · B3 · B4 · C1 · I0 · P4 · P5 · R1 · R2 · R3 · D1 · D5 · D7 · D9 · T1 · T3 · T4 · T6 · E2 · E6 · E7. 카드 장과 같은 틀이고, 원인 · 예시 칸은 자료가 있을 때만 둔다

출처: 게시본 export-2k-1027 · 16 · 17 문서 · schema-v0.5.md:227–245

1부 부록 · 카드 · 생성

G0정답 재현(생성)생성 단계검수 대기

검수 대기: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

규칙 판정을 결함 쪽 · 결함 아님 쪽 표본으로 사람이 맞대 보는 규칙 설계 검증이 남았다.

규칙 카드 · 사람 검수 5/20 표본(결함 쪽 2 · 결함 아님 쪽 3) 중 규칙이 맞음 3

무엇을 결함으로 세나

정답 원문을 넣었을 때 생성이 정답 YAML 과 다른 유형, 빠진 항목, 뒤집힌 순서, 다른 표 모양, 다른 params 를 내는 일을 센다.

세는 단위: 질의 · 근거: 47-decisions-1020.md 결정 6(링크별 정답 기준 예외 카드) · type_fallback_ladder.py, gold_entity_name_match.py, paired_order_match.py, dataset_shape_match.py, params_key_diff_count.py

얼마나

18.6%

322 / 1,728 질의 · 95% 구간 16.9–20.5% · 조건 a(정답 원문 쪽)

검수 전 값 — 결론에 쓰지 않는다

액션

액션 집계가 없다.

출처: 값 = manifest compliance.measured(카드 G0, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 생성

G2L2 나눔생성 단계검수 대기

검수 대기: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

사람 라벨 0 / 필요 211 · 정답 없이 사람 판단에 기대는 카드라 사람 라벨이 필요하다.

LLM 카드 · 반복 일치 0.94 · 모델 쌍 라벨 대비 값 없음

무엇을 결함으로 세나

원문에 읽는 방식이 다른 덩어리(목록 대 표, 자료 대 해석)가 있는데 생성이 그것을 한 형제로 합치거나, 한 덩어리를 둘로 쪼개거나, 형제의 읽는 방식을 틀리게 정하는 일을 센다.

세는 단위: 질의 · 근거: l2-system-v3.txt:26-27 · l2-system-v3.txt:97-102

얼마나

8.5%

179 / 2,104 질의 · 95% 구간 7.4–9.8%

검수 전 값 — 결론에 쓰지 않는다

실제 예시

원문
행사 종료 후 협찬 운영 결과를 전달합니다.
① 제공 시점 및 형식
행사 종료 후 2주 이내
결과 보고서 PDF 제공
② 보고 항목
구분제공 내용제품 활용총학생회 수령·배부·잔여 수량이벤트 운영진행 내용 및 집계 가능한 참여 현황온라인 홍보게시물 이미지·링크 및 확인 가능한 조회·도달 지표현장 기록제품 진열·배부·부스 운영·브랜드 노출 사진참여자 의견현장에서 수집한 제품 반응과 후기
③ 기업 직접 운영 시 … (+2줄)
생성 YAML
title: 행사 종료 후 협찬 운영 결과 보고
- type: Enumeration.ListingTable
- label: 행사 종료 후 협찬 운영 결과
items:
- 행사 종료 후 2주 이내 결과 보고서 PDF 제공
- 기업 직접 운영 시 기업이 공유한 운영 자료를 바탕으로 참여 인원과 제품 배부 수량 정리
- 사진 원본 제공 및 기업의 2차 활용은 촬영 동의와 사용 가능 범위를 확인하여 협의 … (+12줄)

결함 측정기 근거: 보고 항목은 표이고 ‘기업 직접 운영 시’는 별도의 설명 문장인데, 생성 결과는 둘을 하나의 표 컴포넌트에 담았습니다.

액션

  • 생성 프롬프트에 독립 전제, 정의, 총평을 L2 형제로 분리하는 규칙을 강화한다. (생성 · l2-system-v3.txt:27, 97, 114–118)
  • 생성 프롬프트에 읽는 방식이 달라지면 별도 L2 형제로 나누도록 명시한다. (생성 · l2-system-v3.txt:27, 97, 114–118)

출처: 값 = manifest compliance.measured(카드 G2, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 생성

G4항목 순서생성 단계검수 대기

검수 대기: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

모델 쌍 라벨 대비 F1 0.00 · 쌍 양성 없음(제안 임계 F1 0.6 · 양성 30).

LLM 카드 · 반복 일치 0.98 · 모델 쌍 라벨 대비 정밀도 0.00 · 재현율 0.00 · F1 0.00(쌍 양성 없음)

무엇을 결함으로 세나

원문의 항목 순서에 뜻이 있는데 생성이 그 순서를 섞는 일을 센다.

세는 단위: 질의 · 근거: l1-system-v3.txt:41-68 · 17-generation-cards.md §2 G-S5(순서 뒤집힘, 옛 1.6)

얼마나

4.9%

122 / 2,502 질의 · 95% 구간 4.1–5.8%

검수 전 값 — 결론에 쓰지 않는다

실제 예시

원문
행사 종료 후 협찬 운영 결과를 전달합니다.
① 제공 시점 및 형식
행사 종료 후 2주 이내
결과 보고서 PDF 제공
② 보고 항목
구분제공 내용제품 활용총학생회 수령·배부·잔여 수량이벤트 운영진행 내용 및 집계 가능한 참여 현황온라인 홍보게시물 이미지·링크 및 확인 가능한 조회·도달 지표현장 기록제품 진열·배부·부스 운영·브랜드 노출 사진참여자 의견현장에서 수집한 제품 반응과 후기
③ 기업 직접 운영 시 … (+2줄)
생성 YAML
title: 행사 종료 후 협찬 운영 결과 보고
- type: Enumeration.ListingTable
- label: 행사 종료 후 협찬 운영 결과
items:
- 행사 종료 후 2주 이내 결과 보고서 PDF 제공
- 기업 직접 운영 시 기업이 공유한 운영 자료를 바탕으로 참여 인원과 제품 배부 수량 정리
- 사진 원본 제공 및 기업의 2차 활용은 촬영 동의와 사용 가능 범위를 확인하여 협의 … (+12줄)

결함 측정기 근거: 원문에서는 보고 항목이 기업 직접 운영 안내보다 먼저 나오지만, 생성에서는 기업 직접 운영 안내가 보고 항목 표보다 먼저 배치됐다.

액션

  • 생성 YAML 스키마와 생성 프롬프트에서 필드, 표, 캡션도 원문 출현 순서를 담는 ordered list로 출력하게 바꾼다. (생성 · l1-system-v3.txt)
  • 생성 프롬프트에 절차, 연도, 단계, 대화, 원인결과 항목은 요약해도 원문 진행 순서를 유지하도록 추가한다. (생성 · l1-system-v3.txt)

출처: 값 = manifest compliance.measured(카드 G4, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 생성

G5dataset 모양생성 단계검수 대기

검수 대기: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

모델 쌍 라벨 대비 F1 0.84 · 쌍 양성 28(제안 임계 F1 0.6 · 양성 30) · 사람 라벨 0 / 필요 149.

LLM 카드 · 반복 일치 0.97 · 모델 쌍 라벨 대비 정밀도 0.85 · 재현율 0.82 · F1 0.84(쌍 양성 28)

무엇을 결함으로 세나

원문의 표를 생성 dataset 이 전치하거나, 행이나 열을 빼거나 합치거나 새로 세워 칸 글이 달라지는 일을 센다.

세는 단위: 질의 · 근거: l1-system-v3.txt:273-274 · l1-system-v3.txt:323-324

얼마나

12.8%

41 / 320 질의 · 95% 구간 9.6–16.9%

검수 전 값 — 결론에 쓰지 않는다

실제 예시

원문
대상자명 담당자명 총회기 인지 학습 사회성 정서 자립 기타 우울 불안 분노 ADHD 기타 진로 탐색 성교육 경제 자립 여행 학업지원 취업지원 백하준 배강선 50 12 7 12 - 18 -   - -   -     1 석여진 서아영 50 27 2 4 - 6 1   1 5 4 -       송하랑 조경진 50 23 21 2 - - - - 1   3         박신우 김서광 50 12 12 - 10 4 4   - 2   -     6 진은율 박재철 50 11 12 4 4 4 2   3 2 1 2 -   5 김지훈 이힘찬 50 26 24                         이소영 문정택 50 45 3 - - - -   - -   - -   2
생성 YAML
title: 대상자별 상담 기록
- type: Enumeration.ListingTable
- label: 대상자별 상담 기록
shape: matrix
columns:
- label: 대상자명
role: category … (+14줄)

결함 측정기 근거: 원문 표의 여러 상담 항목 열을 생성 dataset이 ‘상담 기록’ 한 열로 합쳤다.

액션

  • 생성 프롬프트에 표의 행, 열 순서, 빈 칸, 열 수를 재구성, 전치, 추가, 병합하지 말라고 명시한다. (생성 · l2-system-v3.txt:67, 361–365)
  • 생성 프롬프트에 원문 표의 모든 셀과 빈 행, 빈 열을 빠짐없이 보존하도록 검증 규칙을 넣는다. (생성 · l2-system-v3.txt:214)

출처: 값 = manifest compliance.measured(카드 G5, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 생성

G6params생성 단계측정 안 됨

측정 안 됨: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

운영 원문 2,000 에서 잰 값이 없다.

관문 값 없음

무엇을 결함으로 세나

생성이 원문에 없는 강조 대상, 기준선, 목표값을 params 로 지어내거나, 원문이 정한 정렬(내림차순, 시간 순)을 어기는 일을 센다.

세는 단위: 질의 · 근거: l1-system-v3.txt:83-87 · aippt-prisonbreak:src/lib/visual-summary/iis/propertyVocabulary.ts:55

얼마나

값 없음

액션

액션 집계가 없다.

출처: 값 = manifest compliance.measured(카드 G6, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 생성

G7글 누락생성 단계미통과

미통과: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

모델 쌍 라벨 대비 F1 0.55 · 쌍 양성 23(제안 임계 F1 0.6 · 양성 30).

LLM 카드 · 반복 일치 0.97 · 모델 쌍 라벨 대비 정밀도 0.43 · 재현율 0.79 · F1 0.55(쌍 양성 23)

무엇을 결함으로 세나

원문의 내용 글(항목 이름, 설명 문장, 수치, 표 칸)이 생성 YAML 에서 뜻째로 사라지는 일을 센다.

세는 단위: 질의 · 근거: l1-system-v3.txt:174-175 · l1-system-v3.txt:200

얼마나

14.5%

364 / 2,502 질의 · 95% 구간 13.2–16.0%

검수 전 값 — 결론에 쓰지 않는다

실제 예시

원문
문헌고찰 VS 대상자비교
pprOM 감염 의심 소견 / 본 대상자
발열 / BT 36.8℃ (-)
산모 빈맥 / PR 88회/min (-)
악취나는 양수 / 맑음, 악취(-)
자궁 압통 / (-)
태아 빈맥 / FHR 142회/min (-) … (+1줄)
생성 YAML
title: 문헌고찰 VS 대상자비교
- type: AttributeComparison.ComparisonTable
- label: 감염 의심 소견 비교
shape: matrix
columns:
- label: 감염 의심 소견
role: category … (+11줄)

결함 측정기 근거: 표의 ‘pprOM 감염 의심 소견’에서 ‘pprOM’이 생성에 없어졌고, 나머지 항목과 설명은 유지됐습니다.

액션

  • 생성 프롬프트에 원문 문장, 표 칸 단위의 의미 보존과 누락 점검 절차를 추가한다. (생성 · l2-system-v3.txt:118, 214–215)
  • 생성 프롬프트와 query_yaml 스키마에서 항목명, 질문, 표 머리글을 필수 보존 필드로 분리한다. (생성 · l2-system-v3.txt:27, 97, 114–118)

출처: 값 = manifest compliance.measured(카드 G7, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 생성

G9수와 단위생성 단계신뢰도 확보

가장 큰 원인은 「원문에 없는 수나 단위」(100%)이고, 여러 칸 질의에서 나머지보다 2.1배 잦다.

무엇을 결함으로 세나

생성 글에 원문에 없는 수(계산해 넣은 차, 비율, 요청하지 않은 합계, 자릿수가 바뀐 수)나 원문에 없는 단위가 들어가는 일을 센다.

세는 단위: 질의 · 근거: l1-system-v3.txt:171-172 · l1-system-v3.txt:239-240

얼마나

3.5%

93 / 2,683 질의 · 95% 구간 2.8–4.2%

어디에 몰리나

원인 상위 3 (몫)

원문에 없는 수나 단위 생성
100%

출처: manifest G9 액션 원인 몫(규칙 전수 93)

생성 단계 카드라 템플릿(DO)과 무관하다.

차가 큰 조건 여러 칸 질의 4.1%(18 / 441) 대 나머지 1.9% (관찰값, 진단용)

실제 예시

원문
2일짜리 시간표를 만들거야 현재 템플릿에 맞는 컨셉의 시간표 만들어줘 오전 3시간 오후 3시간짜리 2일짜리 중간에는 점심시간이 들어가고
생성 YAML
title: 2일짜리 시간표
- type: TimelineSchedule.Timeline
- label: 1일차 오전
period: "1일차 오전"
items:
- 오전 3시간
- label: 1일차 점심시간 … (+19줄)

결함 측정기 근거: 생성 글의 수와 단위는 원문에 있으며, 1일차·2일차는 순번 표기입니다.

이 수치를 믿을 수 있나

규칙 카드 · 결함 사례 8건 열람 뒤 판정 기준을 유저가 정책으로 정함(규칙 설계 검증 기록)

액션

  • 생성 프롬프트에 수와 단위를 원문 그대로 쓰는 일반 규칙을 넣는다(계산, 환산, 합치기 금지) (생성 · l2-system-v3.txt:118, 214–215)

출처: 값 = manifest compliance.measured(카드 G9, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 생성

G10언어와 표기생성 단계검수 대기

검수 대기: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

모델 쌍 라벨 대비 F1 0.58 · 쌍 양성 33(제안 임계 F1 0.6 · 양성 30) · 사람 라벨 0 / 필요 216.

LLM 카드 · 반복 일치 0.96 · 모델 쌍 라벨 대비 정밀도 0.49 · 재현율 0.70 · F1 0.58(쌍 양성 33)

무엇을 결함으로 세나

생성이 원문을 번역하거나, 한 문서 안에서 두 언어를 섞거나, 고유명사, 약어, 통화와 단위 기호, 뜻을 나르는 기호의 표기를 바꾸는 일을 센다.

세는 단위: 질의 · 근거: l1-system-v3.txt:160-167 · l1-system-v3.txt:168-173

얼마나

4.2%

106 / 2,502 질의 · 95% 구간 3.5–5.1%

검수 전 값 — 결론에 쓰지 않는다

실제 예시

원문
이것이 왜 글로벌 경쟁인가? 소비자의 변화 🥤 “ZERO를 원한다” ↓ ┌──────────────┐ ↓ ↓ 🌎 코카콜라 🇰🇷 롯데칠성 코카콜라 ZERO 칠성사이다 ZERO ↓ ↓ └───────┬──────┘ ↓ 제품 · 가격 · 브랜드 · 마케팅 · 유통 ↓ 👤 소비자의 선택 ↓ 🌎 글로벌 경쟁의 현장
생성 YAML
title: "이것이 왜 글로벌 경쟁인가?"
- type: ProcessFlow.Steps
- label: 소비자의 변화
items:
- "“ZERO를 원한다”"
- label: ZERO 제품 경쟁
items: … (+11줄)

결함 측정기 근거: 원문의 흐름 화살표(↓)가 생성 값에서 빠졌습니다.

액션

  • 생성 프롬프트에 의미 기호와 상태 이모지를 텍스트로 풀지 말고 원문 기호 그대로 보존하도록 추가한다. (생성 · l1-system-v3.txt:160–175)
  • 생성 프롬프트에 약어, 고유명사, 대소문자, 한자 표기를 원문 그대로 복사하도록 명시한다. (생성 · l1-system-v3.txt:168)

출처: 값 = manifest compliance.measured(카드 G10, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 생성

G12항목 분할생성 단계검수 대기

검수 대기: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

모델 쌍 라벨 대비 F1 0.50 · 쌍 양성 28(제안 임계 F1 0.6 · 양성 30) · 사람 라벨 0 / 필요 207.

LLM 카드 · 반복 일치 0.95 · 모델 쌍 라벨 대비 정밀도 0.49 · 재현율 0.51 · F1 0.50(쌍 양성 28)

무엇을 결함으로 세나

생성이 entities(label)를 원문의 나눔과 다른 기준이나 층으로 자르는 일, 예로 원문 일부의 하위 나열만 따르거나 큰 덩어리와 그 안의 작은 단위를 한 줄에 섞는 일을 센다.

세는 단위: 질의 · 근거: l1-system-v3.txt:41-68 · l1-system-v3.txt:287-299

얼마나

11.2%

302 / 2,687 질의 · 95% 구간 10.1–12.5%

검수 전 값 — 결론에 쓰지 않는다

실제 예시

원문
문헌고찰 VS 대상자비교
pprOM 감염 의심 소견 / 본 대상자
발열 / BT 36.8℃ (-)
산모 빈맥 / PR 88회/min (-)
악취나는 양수 / 맑음, 악취(-)
자궁 압통 / (-)
태아 빈맥 / FHR 142회/min (-) … (+1줄)
생성 YAML
title: 문헌고찰 VS 대상자비교
- type: AttributeComparison.ComparisonTable
- label: 감염 의심 소견 비교
shape: matrix
columns:
- label: 감염 의심 소견
role: category … (+11줄)

결함 측정기 근거: form=explicit; 원문은 감염 의심 소견별로 문헌고찰과 대상자를 대응시키는 표이며, 생성은 이를 하나의 ‘감염 의심 소견 비교’ entity로 묶어 원문의 행별 비교 단위를 반영하지 않았다

액션

  • 생성 프롬프트에서 query_yaml label은 원문의 한 계층만 선택하고 상위, 하위 항목을 같은 entities 배열에 섞지 않게 한다. (생성 · l2-system-v3.txt:27, 97, 114–118)
  • 생성 프롬프트에서 명시적 표, 목록은 제목이 아니라 반복 행, 열 또는 나열 단위를 query_yaml entities로 만들게 한다. (생성 · l2-system-v3.txt:341–343)

출처: 값 = manifest compliance.measured(카드 G12, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 생성

G13항목 소속생성 단계신뢰도 확보

가장 큰 원인은 「전체 맥락 누출」(48%)이고, 여러 칸 질의에서 나머지보다 4.6배 잦다.

무엇을 결함으로 세나

생성의 label 아래 items 가 그 label 의 몫이 아닌 일, 곧 원문의 다른 덩어리에 있던 글이 이 label 아래 들어가거나 label 과 items 사이에 논리가 없는 일을 센다.

세는 단위: 질의 · 근거: l1-system-v3.txt:41-68 · 20-generation-structure.md (G13 소속, 2026-10-23)

얼마나

7.9%

212 / 2,687 질의 · 95% 구간 6.9–9.0%

어디에 몰리나

원인 상위 3 (몫)

전체 맥락 누출 생성
48%
주제 귀속 오판 생성
24%
표, 계층 매핑 오류 생성
15%

출처: manifest G13 액션 원인 몫(표본 200)

생성 단계 카드라 템플릿(DO)과 무관하다.

차가 큰 조건 여러 칸 질의 14.5%(64 / 441) 대 나머지 3.2% (관찰값, 진단용)

실제 예시

원문
□ 단계적 추진
학부대학은 2027년 설립을 추진하고 있으며, 기존 대학의 편제 개편 등을 거쳐 2028학년도부터 정식 출범할 예정입니다.
이에 따라 학부대학의 설립 및 운영을 단계적으로 추진하고, 자유전공학부 및 국제자유전공학부의 학사 운영체계 역시 출범 이후 단계적으로 보완할 예정입니다.
구분주요 내용2026학년도학부대학 설립 및 편제 개편을 위한 준비·의견수렴2027학년도학부대학 설립 추진 / 기존 융합자유전공대학 운영2028학년도편제 개편 및 학부대학 정식 출범향후30호관 설립 이후 학부대학의 물리적 공간 이전 추진
※ 구체적인 학사 운영체계 및 학생 소속 변경 등은 학부대학 출범 이후 단계적으로 검토·보완할 예정입니다.
생성 YAML
title: 단계적 추진
- type: TimelineSchedule.Timeline
- period: "2026학년도"
label: 학부대학 설립 및 편제 개편을 위한 준비·의견수렴
items:
- 학부대학 설립 및 운영을 단계적으로 추진
- period: "2027학년도" … (+10줄)

결함 측정기 근거: 2026학년도 ‘준비·의견수렴’ 아래의 ‘학부대학 설립 및 운영을 단계적으로 추진’은 해당 준비 내용이라기보다 전체 추진 방침이다.

이 수치를 믿을 수 있나

LLM 카드 · 반복 일치 0.98 · 모델 쌍 라벨 대비 정밀도 0.62 · 재현율 1.00 · F1 0.76(쌍 양성 40)

액션

  • 생성 프롬프트에서 전체 공통 내용은 별도 label로 분리하고 단계 label에는 해당 단계의 내용만 넣게 한다. (생성 · l2-system-v3.txt:27)
  • 생성 프롬프트에서 각 item이 label을 직접 설명하는지 검증한 뒤 query_yaml에 배치하게 한다. (생성 · comp-pass-logic/src/generate/validate.rs:135–220)

출처: 값 = manifest compliance.measured(카드 G13, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 색인

B1core 경계가 의미 단위를 감싸지 못함색인 단계미통과

미통과: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

측정기 판정이 고추론 모델 쌍 라벨과 맞지 않아(정밀도가 특히 낮다) 측정기를 고쳐 다시 잰다.

LLM 카드 · 반복 일치 0.99 · 모델 쌍 라벨 대비 정밀도 0.14 · 재현율 0.15 · F1 0.15(쌍 양성 7)

무엇을 결함으로 세나

색인이 잡은 경계가 원본의 의미 단위 하나를 다 감싸지 못하거나, 별개 묶음 둘을 한 경계로 감싼 컴포넌트를 센다.

세는 단위: 장 · 근거: vault boundary-v12.4.txt:13 · vault boundary-v12.4.txt:18

얼마나

1.2%

64 / 5,482 장 · 95% 구간 0.9–1.5%

검수 전 값 — 결론에 쓰지 않는다

실제 예시

B1 결함 예시 결과 그림
결함 쪽 · 1위 00acf1c3

결함 측정기 근거: 왼쪽의 세로 내비게이션 항목 묶음과 오른쪽의 목표 카드 묶음은 각각 둘 이상의 항목으로 된 별개 목록이며, 서로 다른 배치로 root 경계에 함께 포함되어 있습니다.

액션

액션 집계가 없다.

출처: 값 = manifest compliance.measured(카드 B1, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 색인

B3경계가 하나의 의미 단위가 아님색인 단계검수 대기

검수 대기: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

모델 쌍 라벨 대비 F1 0.31 · 쌍 양성 23(제안 임계 F1 0.6 · 양성 30) · 사람 라벨 0 / 필요 220.

LLM 카드 · 반복 일치 0.99 · 모델 쌍 라벨 대비 정밀도 0.36 · 재현율 0.28 · F1 0.31(쌍 양성 23)

무엇을 결함으로 세나

결과에 나온 경계 안의 core 가 한 표현을 이루지 못하는 일, 곧 서로 다른 category 의 표현(목록과 표, 카드 묶음과 체크리스트)이 한 경계에 섞이거나 한 표현의 일부만 들어간 일을 센다.

세는 단위: 장 · 근거: vault boundary-v12.4.txt:18 · vault boundary-v12.4.txt:20-21

얼마나

1.2%

350 / 28,445 장 · 95% 구간 1.1–1.4%

검수 전 값 — 결론에 쓰지 않는다

실제 예시

B3 결함 예시 결과 그림
결함 쪽 · 1위 0d2b3861

결함 측정기 근거: 왼쪽의 제목·설명 패널과 오른쪽의 반복 항목 목록이 서로 다른 표현입니다.

액션

  • 색인 컴포넌트 경계를 조정해 목록, 카드, 도식, 차트 등 이종 core를 분리한다. (색인 · 운영 DB 등록부: IIS boundary 프롬프트 v12.4:boundary_scope_policy)
  • 평가기 질문이나 입력에 위성 제외 규칙과 frame_tree상 core 판별 정보를 강화한다. (평가기 고침 · cards/B3.yaml:18, 49)

출처: 값 = manifest compliance.measured(카드 B3, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 색인

B4위성을 경계에 넣었거나 root 를 과잉으로 경계로 둠색인 단계신뢰도 확보

가장 큰 원인은 「위성을 경계에 넣음」(100%)이고, 결함의 52%가 템플릿 10개에서 나온다.

무엇을 결함으로 세나

색인이 컴포넌트 전체 제목, 부제, 번호 marker, 전체 배경 같은 위성을 경계에 넣거나, 내용 자식이 하나뿐인데 root 를 경계로 두는 일을 센다.

세는 단위: 장 · 근거: vault boundary-v12.4.txt:13 · vault boundary-v12.4.txt:20-21

얼마나

0.51%

143 / 28,245 장 · 95% 구간 0.4–0.6%

어디에 몰리나

원인 상위 3 (몫)

위성을 경계에 넣음 색인
100%

출처: manifest B4 액션 원인 몫(규칙 전수 143)

템플릿(DO) 집중 결함 단위의 52%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 0%). 한 DO 최댓값 DO 13631332 = 14 단위(10%, 그 DO 가 나온 14 단위 중 100%).

차가 큰 조건 질의 유형 「LongFormTextLayout」 1.0%(15 / 1,451) 대 나머지 0.48% · 한 칸 질의 0.69%(97 / 13,974) 대 나머지 0.32% (관찰값, 진단용)

실제 예시

B4 결함 예시 결과 그림
결함 쪽 · 1위 38925c7f
정상 대비 결과
정상 대비 · 2위

결함 규칙 판정(근거 글 없음)

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

이 수치를 믿을 수 있나

규칙 카드 · 결함 사례 15건 열람 뒤 판정 기준을 유저가 정책으로 정함(규칙 설계 검증 기록)

액션

  • 경계 고르기에서 위성을 빼고 content 컨테이너를 경계로 잡는다(content 가 하나면 그 자식) (색인 · 운영 DB 등록부: IIS boundary 프롬프트 v12.4:task_contract 1, 8)

출처: 값 = manifest compliance.measured(카드 B4, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 색인

C1원본 글이 자기 슬롯 용량을 넘음색인 단계신뢰도 확보

가장 큰 원인은 「글자 수가 용량을 조금 넘음」(78%)이고, 표 · 차트 아닌 질의에서 나머지보다 7.1배 잦다.

무엇을 결함으로 세나

색인이 적은 슬롯 용량(글자 수, 줄 수)이 그 자리에 실제로 들어 있던 원본 글보다 작은 일을 센다.

세는 단위: 장 · 근거: vault 53-quality-targets-v2.md:69

얼마나

8.7%

2,482 / 28,457 장 · 95% 구간 8.4–9.1%

어디에 몰리나

원인 상위 3 (몫)

글자 수가 용량을 조금 넘음 색인
78%
글자 수가 용량의 1.5배 이상 색인
10%
용량 4자 이하 짧은 자리 색인
7%

출처: manifest C1 액션 원인 몫(규칙 전수 2,482)

템플릿(DO) 집중 결함 단위의 23%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 2%). 한 DO 최댓값 DO 11966191 = 150 단위(6%, 그 DO 가 나온 150 단위 중 100%).

차가 큰 조건 표 · 차트 아닌 질의 11.0%(2,375 / 21,562) 대 나머지 1.6% · 결과 컴포넌트 범주 「List」 12.1%(1,556 / 12,818) 대 나머지 5.9% (관찰값, 진단용)

실제 예시

C1 결함 예시 결과 그림
결함 쪽 · 6위 05127915
정상 대비 결과
정상 대비 · 1위

결함 측정기 근거: items 원문 중 1번, 3번, 4번이 각각 늘린 chars 용량을 넘습니다.

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

이 수치를 믿을 수 있나

규칙 카드 · 결함 사례 14건 열람 뒤 판정 기준을 유저가 정책으로 정함(규칙 설계 검증 기록)

액션

  • chars 추정에 원본 글 길이 하한을 둔다(산식 오차 10% 를 넘는 몫) (색인 · comp-sign/src/comp-match/helpers.ts:1769–1778)
  • 색인 용량(chars) 산출이 원본 글이 이미 든 자리를 원본 길이보다 작게 잡지 않게 한다(원본 글 길이를 chars 하한으로) (색인 · comp-sign/src/comp-match/helpers.ts:1769–1778)

출처: 값 = manifest compliance.measured(카드 C1, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 색인

I0정답 색인 재현(색인)색인 단계검수 대기

검수 대기: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

규칙 판정을 결함 쪽 · 결함 아님 쪽 표본으로 사람이 맞대 보는 규칙 설계 검증이 남았다.

규칙 카드 · 규칙 설계 검증 기록 없음

무엇을 결함으로 세나

정답 세트 DO 에서 운영 색인이 사람이 검토한 정답 색인과 다른 경계, 카테고리, structure map, 칸 지도, params 를 내는 일을 센다.

세는 단위: 장 · 근거: 47-decisions-1020.md 결정 6 · gold_index_repro.py(B1 경계 · 전체 카드, B2 카테고리), slot_map_node_match.py(P1), dataset_map_match.py(P4), iis_params_key_diff_count.py(P5)

얼마나

4.2%

73 / 1,738 장 · 95% 구간 3.4–5.2% · 조건 gold_set(정답 세트 쪽)

검수 전 값 — 결론에 쓰지 않는다

액션

액션 집계가 없다.

출처: 값 = manifest compliance.measured(카드 I0, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 색인

P4dataset 칸 지도가 원본 구조에 맞지 않음색인 단계측정 안 됨

측정 안 됨: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

운영 원문 2,000 에서 잰 값이 없다.

관문 값 없음

무엇을 결함으로 세나

운영 색인의 칸 지도가 원본 표나 차트의 행과 열에 대응하지 않는 일, 곧 행과 열이 뒤바뀌거나, 행이나 열이 빠지거나 합쳐지거나, 칸 노드가 다른 칸 자리에 들어간 일을 센다.

세는 단위: 장 · 근거: property-v8.txt:20-26(운영 판 · 일부 행은 v7)

얼마나

값 없음

액션

액션 집계가 없다.

출처: 값 = manifest compliance.measured(카드 P4, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 색인

P5params 가 원본 컴포넌트에 맞지 않음색인 단계측정 안 됨

측정 안 됨: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

운영 원문 2,000 에서 잰 값이 없다.

관문 값 없음

무엇을 결함으로 세나

운영 색인 params 가 원본 그림과 어긋나는 일(세로 막대인데 가로, 시간 순인데 값 순, 오르는 계단인데 아래 방향)과 그림에 근거 없는 값을 지어낸 일을 센다.

세는 단위: 장 · 근거: property-v8.txt:34-39(운영 판 · 일부 행은 v7) · property-v8.txt:40-47(운영 판 · 일부 행은 v7)

얼마나

값 없음

액션

액션 집계가 없다.

출처: 값 = manifest compliance.measured(카드 P5, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 검색

R1원본 짝이 검색에서 걸러지거나 상위 10 밖으로 밀림검색 단계검수 대기

검수 대기: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

규칙 판정을 결함 쪽 · 결함 아님 쪽 표본으로 사람이 맞대 보는 규칙 설계 검증이 남았다.

규칙 카드 · 규칙 설계 검증 기록 없음

무엇을 결함으로 세나

정답 YAML 과 그 원본 컴포넌트의 정답 색인 행을 한 쌍으로 지금 검색 로직에 넣었을 때, 원본이 용량 밖 사유로 걸러지거나 cost 가 커서 상위 10 밖으로 밀리는 일을 센다.

세는 단위: 상위 10 · 근거: 47-decisions-1020.md 결정 7(R1 변환) · 50-search-operating-feasibility.md 1.4절(s1-harness), 4.1절(예외 조건)

얼마나

35.2%

608 / 1,729 상위 10 · 95% 구간 32.9–37.4% · 조건 a1(정답 YAML 쪽)

검수 전 값 — 결론에 쓰지 않는다

액션

액션 집계가 없다.

출처: 값 = manifest compliance.measured(카드 R1, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 검색

R2담을 수 있는 후보를 용량 때문에 거름검색 단계신뢰도 확보

가장 큰 원인은 「0.7배 축소로 들어가는데 거름」(70%)이다.

무엇을 결함으로 세나

검색 용량 거름이 떨어뜨린 후보 가운데, 글자를 0.7배까지 줄이거나 줄바꿈하면 실제로 담을 수 있었던 후보를 센다(축소 하한 0.7 = 평가틀 47 결정 5).

세는 단위: 후보 · 근거: vault 47-decisions-1020.md 결정 5 · R2.yaml:39

얼마나

30.4%

211 / 695 후보 · 95% 구간 27.1–33.9%

어디에 몰리나

원인 상위 3 (결함 211 기준)

0.7배 축소로 들어가는데 거름 로직
147 70%
줄바꿈하면 들어가는데 거름 로직
64 30%

분류 꼬리표(로직 · 규약 미정 · 정답 모호)는 제안 · 출처: 66 문서 R2 절

이 수치를 믿을 수 있나

LLM 카드 · 반복 일치 0.91 · 모델 쌍 라벨 대비 정밀도 0.84 · 재현율 0.97 · F1 0.90(쌍 양성 73)

액션

  • 검색 용량 거름이 렌더러 0.7배 축소와 줄바꿈을 반영하게 한다 (검색 · 용량 거름(capacity filter))

출처: 값 = eval/agg-r2op-1026 R2(운영 판 용량 거름 표본)(카드 R2, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 검색

R31위가 원본보다 질의에 덜 맞음검색 단계측정 안 됨

측정 안 됨: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

운영 원문 2,000 에서 잰 값이 없다. 퇴역 카드다.

관문 값 없음

무엇을 결함으로 세나

퇴역 카드다.

세는 단위: 짝 · 근거: wiki l1-l2-result-display-blueprint.md:66-69

얼마나

값 없음

액션

액션 집계가 없다.

출처: 값 = manifest compliance.measured(카드 R3, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 대치

D1원본 재현 실패대치 단계검수 대기

검수 대기: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

규칙 판정을 결함 쪽 · 결함 아님 쪽 표본으로 사람이 맞대 보는 규칙 설계 검증이 남았다.

규칙 카드 · 결함 사례 1건 열람 뒤 판정 기준을 유저가 정책으로 정함(규칙 설계 검증 기록)

무엇을 결함으로 세나

정답 YAML 의 글을 원본 컴포넌트에 되넣었을 때 원본이 재현되지 않는 일, 곧 글자가 원본의 0.70 배 미만으로 줄거나, 같은 형제 묶음끼리 축소 비가 다르거나, 원본 크기 고정 결과에 축소나 상자 넓힘이 있거나, 정답 글이 다른 자리에 들거나 빠진 일을 센다.

세는 단위: 장 · 근거: 2026-10-12-mor-2627-replacement-policy-design.md:138-148

얼마나

0.35%

3 / 866 장 · 95% 구간 0.1–1.0% · 조건 w(검색 정답 쪽)

검수 전 값 — 결론에 쓰지 않는다

액션

액션 집계가 없다.

출처: 값 = manifest compliance.measured(카드 D1, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 대치

D5문서 제목이 중복대치 단계신뢰도 확보

가장 큰 원인은 「제목 자리와 다른 자리에 같은 제목」(51%)이고, 질의 유형 「HighlightedMessage」에서 나머지보다 4.1배 잦다.

무엇을 결함으로 세나

문서 제목 글이 컴포넌트에 두 번 이상 보이는 일을 센다.

세는 단위: 장 · 근거: vault 21-replace-cards.md:18

얼마나

2.7%

755 / 28,457 장 · 95% 구간 2.5–2.8%

어디에 몰리나

원인 상위 3 (몫)

제목 자리와 다른 자리에 같은 제목 생성
51%
제목 자리 밖 여러 자리에 제목 생성
49%

출처: manifest D5 액션 원인 몫(규칙 전수 755)

템플릿(DO) 집중 결함 단위의 22%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 1%). 한 DO 최댓값 DO 12295689 = 25 단위(3%, 그 DO 가 나온 35 단위 중 71%).

차가 큰 조건 질의 유형 「HighlightedMessage」 7.9%(280 / 3,555) 대 나머지 1.9% · 한 칸 질의 4.3%(600 / 14,106) 대 나머지 1.1% (관찰값, 진단용)

실제 예시

D5 결함 예시 결과 그림
결함 쪽 · 1위 00acf1c3
정상 대비 결과
정상 대비 · 2위

결함 규칙 판정(근거 글 없음)

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

이 수치를 믿을 수 있나

규칙 카드 · 결함 사례 16건 열람 뒤 판정 기준을 유저가 정책으로 정함(규칙 설계 검증 기록)

액션

  • 생성 예시에서 제목과 같은 label 을 「good」으로 둔 줄을 고치고, 대치는 제목과 같은 label binding 을 건너뛴다 (생성 · l2-system-v3.txt:206–207)
  • 문서 제목이 여러 본문 자리에 들어가는 경로(생성 label 반복, 대치 배정)를 막는다 (생성 · l2-system-v3.txt:206–207)

출처: 값 = manifest compliance.measured(카드 D5, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 대치

D7표와 차트 칸 값이 다름대치 단계신뢰도 확보

가장 큰 원인은 「칸 값 다름(머리칸 없는 ListingTable 칸 지도)」(94%)이고, 결함의 50%가 템플릿 10개에서 나온다.

무엇을 결함으로 세나

결과의 표, 차트 칸 값이 질의 dataset 의 같은 자리 값과 다른 일(값이 다름, 다른 칸 값이 들어감, 값이 있는데 칸이 비거나 임시 문구)을 센다.

세는 단위: 장 · 근거: wiki schema-v0.5.md:289-290 · query_frame.rs:389-390

얼마나

3.8%

243 / 6,440 장 · 95% 구간 3.3–4.3%

어디에 몰리나

원인 상위 3 (몫)

칸 값 다름(머리칸 없는 ListingTable 칸 지도) 검색
94%
칸 값 다름(머리글 칸 비어 있음) 검색
11%
칸 값 다름(머리글 단위 중복) 검색
8%

출처: manifest D7 액션 원인 몫(규칙 전수 1,996)

템플릿(DO) 집중 결함 단위의 50%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 7%). 한 DO 최댓값 DO 11371395 = 25 단위(10%, 그 DO 가 나온 28 단위 중 89%).

차가 큰 조건 질의 유형 「ListingTable」 4.3%(240 / 5,584) 대 나머지 0.35% · 한국어 4.3%(235 / 5,486) 대 나머지 0.84% (관찰값, 진단용)

실제 예시

D7 결함 예시 결과 그림
결함 쪽 · 1위 02114f9f

결함 규칙 판정(근거 글 없음)

이 수치를 믿을 수 있나

규칙 카드 · 사람 판정 표본 결함 쪽 1 · 결함 아님 쪽 29과 규칙이 맞음

액션

  • 머리칸 없는 ListingTable 에서 표 열 제목을 버리는 동작을 다시 정한다(MOR-2683 D1, D2 결정 몫) (검색 · comp-frame-core/src/align.rs:883–903)
  • 머리글 행이 있는 표에서 첫 열이 아닌 머리글 칸이 비는 경로를 찾아 막는다 (검색 · comp-frame-core/src/align.rs:883–903)

출처: 값 = manifest compliance.measured(카드 D7, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 대치

D9단어 중간 줄바꿈대치 단계신뢰도 확보

가장 큰 원인은 「단어 중간 줄바꿈」(100%)이고, 한국어에서 나머지보다 4.3배 잦다.

무엇을 결함으로 세나

글이 단어 중간에서 줄이 바뀐 일(「대/상자」)을 센다.

세는 단위: 장 · 근거: 가독 원칙(21-replace-cards.md §2 D9) · vis_wordbreak.py

얼마나

32.7%

823 / 2,518 장 · 95% 구간 30.9–34.5%

어디에 몰리나

원인 상위 3 (몫)

단어 중간 줄바꿈 대치
100%

출처: manifest D9 액션 원인 몫(규칙 전수 823)

템플릿(DO) 집중 결함 단위의 34%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 25%). 한 DO 최댓값 DO 13640773 = 118 단위(14%, 그 DO 가 나온 268 단위 중 44%).

차가 큰 조건 한국어 35.6%(801 / 2,251) 대 나머지 8.2% (관찰값, 진단용)

실제 예시

D9 결함 예시 결과 그림
결함 쪽 · 1위 000245ad

결함 규칙 판정(근거 글 없음)

이 수치를 믿을 수 있나

규칙 카드 · 결함 사례 12건 열람 뒤 판정 기준을 유저가 정책으로 정함(규칙 설계 검증 기록)

액션

  • 대치 결과의 글 노드에 keep-all 을 싣고, 넘치는 낱말은 경계 안에서 상자를 넓혀 푼다 (대치 · comp-frame-client/src/replacement.ts:717–736)

출처: 값 = manifest compliance.measured(카드 D9, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 대치

T1원본에 없던 어색한 줄바꿈대치 단계신뢰도 확보

가장 큰 원인은 「단어 줄바꿈 정책 부재」(83%)이고, 질의 유형 「LongFormTextLayout」에서 나머지보다 1.7배 잦다.

무엇을 결함으로 세나

대치 결과에 원본에 없던 어색한 줄바꿈이 생긴 일, 곧 번호나 마커가 두 줄로 갈림, 단어 중간 줄바꿈, 한두 글자만 다음 줄에 남음, 숫자와 단위처럼 한 덩어리여야 할 말이 갈림을 센다.

세는 단위: 장 · 근거: 19-text-expression.md §2 T1(유저 결정 10/23, 메모리 feedback-text-expression-visual-judgment) · D9.yaml(단어 중간 줄바꿈, T1 의 word_split 하위값)

얼마나

38.0%

10,803 / 28,445 장 · 95% 구간 37.4–38.5%

어디에 몰리나

원인 상위 3 (몫)

단어 줄바꿈 정책 부재 대치
83%
의미 단위 보호 부재 대치
6%
고아 줄 제어 부재 대치
5%

출처: manifest T1 액션 원인 몫(표본 200)

템플릿(DO) 집중 결함 단위의 15%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 11%). 한 DO 최댓값 DO 13639886 = 321 단위(3%, 그 DO 가 나온 342 단위 중 94%).

차가 큰 조건 질의 유형 「LongFormTextLayout」 63.3%(925 / 1,461) 대 나머지 36.6% (관찰값, 진단용)

실제 예시

T1 결함 예시 결과 그림
결함 쪽 · 1위 000245ad
정상 대비 결과
정상 대비 · 2위

결함 측정기 근거: 「대상자」가 제목에서 「대」와 「상자비교」로 갈립니다.

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

이 수치를 믿을 수 있나

LLM 카드 · 반복 일치 0.98 · 모델 쌍 라벨 대비 정밀도 0.97 · 재현율 1.00 · F1 0.99(쌍 양성 37)

액션

  • 대치 결과의 글 노드에 keep-all 을 싣는다(D9 와 같은 고칠 곳) (대치 · comp-frame-client/src/replacement.ts:717–736)
  • 생성 YAML과 대치 엔진에 날짜, 수치단위, 명칭, 범위를 묶는 불가분 줄바꿈 규칙을 추가한다. (대치 · comp-frame-shared/src/forked/predictTextBbox.ts:80)

출처: 값 = manifest compliance.measured(카드 T1, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 대치

T3원본보다 글자가 지나치게 작음대치 단계검수 대기

검수 대기: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

모델 쌍 라벨 대비 F1 0.44 · 쌍 양성 27(제안 임계 F1 0.6 · 양성 30) · 사람 라벨 0 / 필요 218.

LLM 카드 · 반복 일치 0.97 · 모델 쌍 라벨 대비 정밀도 0.28 · 재현율 1.00 · F1 0.44(쌍 양성 27)

무엇을 결함으로 세나

대치 결과의 글이 원본의 같은 자리 글보다, 또 자기 상자나 도형에 비해 지나치게 작아 보이는 일을 센다.

세는 단위: 장 · 근거: 19-text-expression.md §2 T3(유저 결정 10/23, 메모리 feedback-text-expression-visual-judgment) · w_format_check.py(D1 의 글자 크기 비, 규칙 보조값 font_ratio_min)

얼마나

2.9%

838 / 28,445 장 · 95% 구간 2.8–3.1%

검수 전 값 — 결론에 쓰지 않는다

실제 예시

T3 결함 예시 결과 그림
결함 쪽 · 1위 0269a380
정상 대비 결과
정상 대비 · 2위

결함 측정기 근거: QR 코드 옆 보조 문구가 원본보다 눈에 띄게 작아졌습니다.

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

액션

  • 대치 엔진의 핵심 글자 최소 크기와 상자 채움 비율을 높인다. (대치 · comp-frame-client/src/replacement.ts:717–728)
  • 대치 엔진의 보조 글자 최소 크기와 줄바꿈, 행간 규칙을 조정한다. (대치 · comp-frame-client/src/replacement.ts:717–728)

출처: 값 = manifest compliance.measured(카드 T3, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 대치

T4원본에서 맞던 정렬이 어긋남대치 단계신뢰도 확보

가장 큰 원인은 「텍스트 구조, 정렬 변환」(48%)이고, 질의 유형 「Steps」에서 나머지보다 1.8배 잦다.

무엇을 결함으로 세나

원본에서 맞던 글 정렬(가로, 세로, 형제 유닛 사이의 줄)이 대치 결과에서 어긋나 보이는 일, 예로 가운데였던 제목이 한쪽으로 붙거나 원 안 번호가 치우치거나 형제 카드의 제목 줄 높이가 달라지는 일을 센다.

세는 단위: 장 · 근거: 19-text-expression.md §2 T4(유저 결정 10/23, 메모리 feedback-text-expression-visual-judgment) · w_format_check.py(D1 의 align_changed 관찰, 규칙 보조값 n_align_attr_changed)

얼마나

14.5%

4,113 / 28,445 장 · 95% 구간 14.1–14.9%

어디에 몰리나

원인 상위 3 (몫)

텍스트 구조, 정렬 변환 검색
48%
형제 기준선, 간격 붕괴 대치
21%
컨테이너 세로정렬 손실 대치
18%

출처: manifest T4 액션 원인 몫(표본 200)

템플릿(DO) 집중 결함 단위의 14%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 3%). 한 DO 최댓값 DO 13640467 = 157 단위(4%, 그 DO 가 나온 181 단위 중 87%).

차가 큰 조건 질의 유형 「Steps」 24.3%(638 / 2,625) 대 나머지 13.5% (관찰값, 진단용)

실제 예시

T4 결함 예시 결과 그림
결함 쪽 · 1위 003a398f
정상 대비 결과
정상 대비 · 2위

결함 측정기 근거: 번호와 각 항목의 글은 원본처럼 같은 상단 영역에 배치되어 있고, 구분선과 이미지의 정렬도 유지됩니다.

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

이 수치를 믿을 수 있나

LLM 카드 · 반복 일치 0.96 · 모델 쌍 라벨 대비 정밀도 0.65 · 재현율 1.00 · F1 0.79(쌍 양성 30)

액션

  • 가운데 정렬 자리에 넘치는 항목을 글머리(* )로 합치지 않는다 (검색 · comp-frame-core/src/text.rs:63–73)
  • 대치 레이아웃에서 형제 유닛의 앵커, 제목-본문 간격, 아이콘 기준선을 원본 structure map대로 고정한다. (대치 · 렌더러(저장소 밖))

출처: 값 = manifest compliance.measured(카드 T4, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 대치

T6원본의 글자 크기, 굵기 위계가 무너짐대치 단계신뢰도 확보

가장 큰 원인은 「역할 서식 초기화」(64%)이고, 결과 컴포넌트 범주 「ListingTable」에서 나머지보다 1.9배 잦다.

무엇을 결함으로 세나

원본에서 글자 크기와 굵기로 드러나던 위계(제목, 항목 이름, 본문, 보조 글)가 대치 결과에서 뒤집히거나 흐려지는 일, 예로 항목 이름이 본문보다 작아지거나 같은 급이던 형제 항목끼리 크기가 달라지는 일을 센다.

세는 단위: 장 · 근거: 19-text-expression.md §2 T6(유저 결정 10/23, 메모리 feedback-text-expression-visual-judgment) · w_format_check.py(D1 의 sibling_mismatch, 규칙 보조값 n_hier_inverted)

얼마나

13.3%

3,770 / 28,445 장 · 95% 구간 12.9–13.7%

어디에 몰리나

원인 상위 3 (몫)

역할 서식 초기화 대치
64%
반복 자리 서식 불일치 대치
20%
자동 축소 역전 대치
11%

출처: manifest T6 액션 원인 몫(표본 200)

템플릿(DO) 집중 결함 단위의 22%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 10%). 한 DO 최댓값 DO 13640650 = 159 단위(4%, 그 DO 가 나온 263 단위 중 60%).

차가 큰 조건 결과 컴포넌트 범주 「ListingTable」 21.2%(1,216 / 5,745) 대 나머지 11.3% · 표 · 차트 질의 19.3%(1,333 / 6,893) 대 나머지 11.3% (관찰값, 진단용)

실제 예시

T6 결함 예시 결과 그림
결함 쪽 · 1위 000245ad
정상 대비 결과
정상 대비 · 2위

결함 측정기 근거: 원본에서는 항목 이름이 본문보다 굵고 두드러지지만, 결과에서는 항목 이름과 본문이 모두 굵고 비슷한 크기로 보여 구분이 흐려졌습니다.

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

이 수치를 믿을 수 있나

LLM 카드 · 반복 일치 0.93 · 모델 쌍 라벨 대비 정밀도 0.47 · 재현율 1.00 · F1 0.64(쌍 양성 47)

액션

  • 역할별 축소 하한을 두고 상위 역할이 하위보다 작아지지 않게 묶음 축소에 제약을 건다 (대치 · comp-frame-client/src/replacement.ts:717–728)
  • 대치 엔진이 색인의 반복 그룹과 동급 structure map에 따라 모든 형제 항목에 동일한 서식을 적용하게 고친다. (대치 · comp-frame-shared/src/forked/siblingGroups.ts:117–143)

출처: 값 = manifest compliance.measured(카드 T6, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 종합

E2표현이 내용 구조와 어긋남종합 단계검수 대기

검수 대기: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

모델 쌍 라벨 대비 F1 0.26 · 쌍 양성 17(제안 임계 F1 0.6 · 양성 30) · 사람 라벨 30 / 필요 180.

LLM 카드 · 반복 일치 0.96 · 모델 쌍 라벨 대비 정밀도 0.15 · 재현율 1.00 · F1 0.26(쌍 양성 17)

무엇을 결함으로 세나

이 컴포넌트의 시각 표현이 이 장의 YAML 몫의 내용 구조를 반대로나 다른 종류로 읽히게 하는 일(순서 없는 나열에 단계 화살표, 부분과 전체가 독립 항목처럼 보임, 계층이나 시간 방향이 반대, 표를 목록으로 바꾸며 누구의 값인지 안 읽힘)을 센다.

세는 단위: 장 · 근거: vault 06-axis-skeleton.md §6.2(83–89행) · l1-system-v3.txt:296-297

얼마나

9.6%

2,722 / 28,445 장 · 95% 구간 9.2–9.9%

검수 전 값 — 결론에 쓰지 않는다

실제 예시

E2 결함 예시 결과 그림
결함 쪽 · 1위 031a7f52
정상 대비 결과
정상 대비 · 3위

결함 측정기 근거: 세 번째 막대(18.1%)의 이유 항목명이 표시되지 않아 값과 범주의 짝이 읽히지 않는다.

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

액션

  • 나열로 태그된 템플릿의 연결 화살표를 색인 신호로 올리고, 비순서 질의에서 거른다 (색인 · comp-frame-index/src/frame/component-frame.ts:950)
  • 머리칸 없는 ListingTable 에서 표 열 제목을 버리는 동작을 다시 정한다(MOR-2683 D1, D2 결정 몫) (검색 · comp-frame-core/src/align.rs:890–903)

출처: 값 = manifest compliance.measured(카드 E2, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 종합

E6(참고) 구성이 어색함종합 단계신뢰도 확보

결함 비율 21.3%(6,063 / 28,444 장). 원인 집계는 아직 없다.

무엇을 결함으로 세나

글을 바꿔 넣은 컴포넌트의 글 배치가 어색한 일, 곧 유닛 간 글 양 균형이 무너지거나 유닛 안 여백이 크게 비는 일을 참고로 본다.

세는 단위: 장 · 근거: 22-overall-cards.md §1 E6(옛 judge agent_7 중 글 배치 몫) · 22-overall-cards.md §0 전제 2

얼마나

21.3%

6,063 / 28,444 장 · 95% 구간 20.8–21.8%

어디에 몰리나

템플릿(DO) 집중 결함 단위의 13%가 상위 10 DO 에서 나온다(그 DO 의 노출 몫 4%). 한 DO 최댓값 DO 12571555 = 110 단위(2%, 그 DO 가 나온 111 단위 중 99%).

조건별 결함 비율에 1.5배 넘는 차가 없다.

실제 예시

E6 결함 예시 결과 그림
결함 쪽 · 1위 00e5b570
정상 대비 결과
정상 대비 · 2위

결함 측정기 근거: 왼쪽의 짧은 제목이 두 줄로 지나치게 쪼개져 있고, 오른쪽 문장은 한글 단위로 어색하게 줄바꿈되어 텍스트 흐름이 매끄럽지 않습니다.

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

이 수치를 믿을 수 있나

LLM 카드 · 반복 일치 0.93 · 모델 쌍 라벨 대비 정밀도 0.68 · 재현율 0.75 · F1 0.71(쌍 양성 37)

액션

액션 집계가 없다.

출처: 값 = manifest compliance.measured(카드 E6, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)

1부 부록 · 카드 · 종합

E7시각 요약으로 쓰지 않겠음종합 단계검수 대기

검수 대기: 이 카드의 값은 결론에 쓰지 않는다

이 수치를 믿을 수 있나 — 아직 아니다

사람 라벨 0 / 필요 196 · 정답 없이 사람 판단에 기대는 카드라 사람 라벨이 필요하다.

LLM 카드 · 반복 일치 0.95 · 모델 쌍 라벨 대비 값 없음

무엇을 결함으로 세나

결과에 들어간 DO 전체를 이 장의 YAML 몫의 시각 요약으로 그대로 쓰겠는지, 글만 조금 손보면 쓰겠는지, 안 쓰겠는지를 묻는 총평이다.

세는 단위: 장 · 근거: 22-overall-cards.md §1 E7(총평, BAD 비율의 후임) · 22-overall-cards.md §4(조건 b 행동 보조)

얼마나

20.4%

5,807 / 28,445 장 · 95% 구간 20.0–20.9%

검수 전 값 — 결론에 쓰지 않는다

실제 예시

E7 결함 예시 결과 그림
결함 쪽 · 1위 00850a96
정상 대비 결과
정상 대비 · 2위

결함 측정기 근거: 본문 내용은 들어갔지만 ‘빠진’이 줄바꿈으로 분리되어 있어 글 손질이 필요합니다.

정상 대비 같은 질의 · 같은 칸의 다른 순위: 이 카드 결함 아님

액션

  • 검색 비용에 구조 호환 항목(순서형 대 병렬, 행과 열 수, 머리행)을 더한다 (검색 · comp-frame-core/src/cost.rs:1131–1205)
  • 대치 뒤 남는 템플릿 글(임시 문구, 비본문 role 원문)을 정리한다(E3 제품 몫과 같은 고칠 곳) (대치 · comp-frame-shared/src/nodeTextPolicy.ts:59–63)

출처: 값 = manifest compliance.measured(카드 E7, 조건 O2k) · 관문 = manifest compliance.gate · 액션 = manifest actions · 조건 차와 DO 집중 = 게시본 셀 × rows/O2k.json(이 덱 계산)