MORDOR 내부 공유 · 2026-10-27

Visual Summary 기본 품질
측정, 채택률, 개선

기본 품질은 정해진 기준으로 재서 판정하고, 전환 전후 채택률은 조건별로 나눠 보고, 결함을 고치면 채택이 얼마나 움직이는지 지금 자료로 잰다.

측정 원문
2,000
상위 10 결과 장
28,457
평가 카드
52
채택 재현 노출 장
8,299

1부 기본 품질 측정

평가 항목과 타당성, 현재 결과, 개선 전략. 2–10장

2부 채택률

전환 전후 비교를 조건별로, 채택을 움직이는 요인. 11–13장

3부 품질 개선과 채택률

카드와 채택의 관계, 단기 효과, 전략. 14–17장

출처: 측정 개요는 18장 부록(29 · 30 · 28 문서)

1부 · 오늘의 질문

VS 의 기본 품질은 「됐다」고 말할 수 있는가

답하려면 세 가지가 필요하다. 우리가 고른 숫자가 아닌 기준, 그 기준으로 본 현재, 무엇을 고치면 얼마나 좋아지는지.

기준

결함이 보는 사람에게 미치는 영향으로 등급을 나누고, 수준은 측정기와 디자이너 원본이 정한다.

3–5장

현재

2,000 원문 운영 조건에서 등급별로 지켰는지 본다. 바깥 자(judge)로 자리를 확인한다.

6–7장

개선

결함이 몰리는 조건과 고칠 코드 위치를 찾고, 조항별로 판정과 액션을 묶는다.

8–10장

이어서 2부는 전환 전후 채택률이 어디서 달라졌는지, 3부는 품질을 고치면 채택률이 얼마나 움직이는지를 다룬다.

출처: 29 문서 1–5절 · 30 문서 0절

1부 · 기준

숫자 목표 대신, 결함이 보는 사람에게 미치는 영향으로 나눈다

내용 오류

결과가 틀린 내용을 보인다

지어냄 · 뜻 바뀜 · 표 칸 값 다름 · 남의 템플릿 글 · 거짓 구조

기본: 0 측정기 바닥과 구분되지 않음

전달 저하

내용 일부가 전달되지 않거나 디자이너 원본보다 보기 나빠진다

글 누락 · 안 읽힘 · 줄바꿈 · 정렬 · 위계 · 본문 임시 문구

기본: 원본 수준 원본과 구분되지 않음

마감 미흡

전달은 되지만 다듬어지지 않았다

제목 중복 · 배치 어색함

기본 밖 응용에서 다룬다

기준값은 측정기(정답 조건, 라벨 정밀도)와 디자이너 원본이 정한다. 우리가 고른 숫자는 없다. 등급은 10/08 확정한 심각도 정의(blocker · major · minor)를 잇고, 기본은 VS 범위 정의(텍스트를 고르고 채우되 원본의 가독성과 완결성을 깨지 않는다)에서 나온다.

출처: 30 문서 2절(기준값의 바깥 출처) · 3.1–3.2절(등급과 준수 수준) · 결함 답별 등급은 19장 부록

1부 · 측정 체계

기본 m 48장을 규칙 19장 · LLM 29장으로 재고, 신뢰도 장치 넷으로 읽는다

링크 (기본 m)규칙LLM사람 검수비교 기준측정 단위(셀)
생성 132 G0 G911 G1 G2 G3 G4 G5 G6 G7 G8 G10 G12 G13—유저 원문 12 · 정답 1질의 13
색인 115 B4 C1 I0 P2 P36 B1 B2 B3 P1 P4 P5—원본 대조 5 · 원본 트리 · 색인 5 · 정답 1장 11
검색 64 R1 R4 R7 R82 R2 R6—그 장의 page_yaml 2 · 정답 1 · 유저 원문 1 · 결과 그림만 1 · 원본 트리 · 색인 1장 3 · 상위 10 2 · 짝 1
대치 138 D1 D2 D3 D4 D5 D6 D7 D95 D8 T1 T3 T4 T6D7 30원본 대조 4 · 그 장의 page_yaml 3 · 질의 YAML 2 · 결과 그림만 2 · 정답 1 · 원본 트리 · 색인 1장 11 · slot 2
종합 5—5 E1 E2 E3 E4 E5E2 30 · E3 30그 장의 page_yaml 4 · 결과 그림만 1장 5

① 정답 기준 띠 4장

정답을 넣어도 나오는 결함. 운영 값을 읽는 바닥이다.

  • G0 18.6% 조건 a · 322/1,728
  • I0 4.20% 조건 gold_set · 73/1,738
  • R1 35.2% 조건 a1 · 608/1,729
  • D1 0.35% 조건 w · 3/866

② 라벨 보정

측정 × 정밀도 ÷ 재현율. 모델 라벨이 붙은 카드 12장.

E3 18.6% × 0.31 ÷ 0.67 = 8.66%

③ 반복 일치 관문

3회 판정 최빈 답 비율의 평균. 관문 일치도 0.8, F1 0.8, 양성 30.

LLM 카드 22장 중 반복 일치 0.8 이상 22장, 세 관문을 모두 넘은 카드 0장

④ 두 모델 라벨 일치

같은 단위의 fable · gpt55 라벨 쌍.

2,083 쌍 · 답 일치 86.7% · 결함 여부 일치 93.0%

카드별 결함 여부 일치 68.0–100.0%(14장)

사람 검수 hold3 완료(10/26, 라벨러 1명, 90 단위 = D7 30 · E3 30 · E2 30): E3 보류 · E2 보류 · D7 보류. 결과는 6장 내용 오류 탭. 그 밖의 수치는 모델(LLM) 판정과 규칙 판정이다.

셀 = 카드가 재는 한 단위(질의 · 장 · slot · 짝 · 상위 10), 장 단위 값은 셀을 그 장으로 올려 센다 · 출처: 30b 카드 자료(generation 20261024T100739Z-a75be5ef, 링크 · 기본 m · 입력) · 25 문서 3절(방식 · 관문) · 30b meta(라벨 쌍 일치) · eval/human/viewer-hold3.html · 비교 기준은 카드 입력 이름으로 나눈 것(정답 > 원본 > 유저 원문 > page_yaml 순) · 카드별 상세는 카드 사전

1부 · 기준 검증

등급 순서는 「그대로 쓰지 않겠다」 판단의 순서와 같다

막대 = 그 장을 「시각 요약으로 그대로 쓰지 않겠다」(E7) 비율. 괄호 = 전체 장 가운데 그 상태의 비율.

마감 미흡만 있는 장(4.0%)은 결함 없는 장(3.2%)과 같은 급이다. 마감 미흡을 기본 밖에 두는 선이 사람 수용과 맞는다.

전달 저하가 있으면 15%, 내용 오류가 있으면 28–44% 로 오른다. 보류 항목(E3, E2)은 정밀도는 낮지만 거부와 가장 강하게 맞물린다.

출처: 30 문서 3.3절(매핑 v2 + D7 규칙 수정, 상위 10 장 28,445) · E7 은 모델 판정

1부 · 현재 · 평가 보드

기본 m 44장(띠 4 제외)을 같은 자격으로 판정하면 준수 9 · 준수 근처 5 · 보류 21 · 미준수 8 · 기본 밖 1

카드등급목표 수준기준값과 출처측정값 [95%]단위보정값판정신뢰도
내용 오류0바닥 라벨 284 에서 양성 0, 정밀도 0. 근거 묶음에 「인과, 평가 덧붙임」이 있으나 반복 갈림 62%3.28% [2.65–4.05]질의바닥준수라벨 284 · 양성 0 · 반복 0.98
내용 오류0바닥 정밀도 1.0, 재현율 0.17(라벨 양성 6). 반복 일치 0.993.47% [2.84–4.23]질의2.7–3.5%준수규칙 대조 199 · 정밀도 1.00 · 반복 0.98
unrelated내용 오류0바닥 라벨 없음, 15 단위0.59% [0.50–0.69]장—준수라벨 없음 · 반복 0.98
내용 오류0바닥 라벨 없음, 반복 일치 0.67(갈림 80%). 묶음: 「있는데 없다고 적음」 20%4.04% [3.33–4.88]질의불명보류라벨 없음 · 반복 0.98
내용 오류0바닥 라벨 없음, 표 질의 32012.8% [9.6–16.9]질의—보류라벨 없음 · 반복 0.95
내용 오류0바닥 라벨 없음. 묶음: 표를 표 아닌 유형 36%, 없던 순서 21%, 계층을 나열 21%6.77% [5.88–7.79]질의—보류라벨 없음 · 반복 0.89
전달 저하원본 수준바닥 W 값 없음 · 라벨 적음4.88% [4.10–5.79]질의—준수 근처라벨 없음 · 반복 0.92
전달 저하원본 수준바닥 W 값 없음 · 라벨 적음4.24% [3.51–5.10]질의—준수 근처라벨 277 · 정밀도 0.22 · 반복 0.96
전달 저하원본 수준정답 조건 정답 YAML 조건 3.9%14.5% [13.2–16.0]질의—미준수라벨 없음 · 반복 0.94
전달 저하원본 수준바닥 W 값 없음 · 라벨 없음11.2% [10.1–12.5]질의—미준수라벨 없음 · 반복 0.91
전달 저하원본 수준바닥 W 값 없음 · 정밀도 0.17, 보정 2.1%8.51% [7.39–9.78]질의2.1%보류라벨 241 · 정밀도 0.17 · 반복 0.94
some_misplaced전달 저하원본 수준4절 행 없음 30 문서 4절 표에 이 결함 답의 행이 없다6.72% [6.42–7.03]장—판정 없음라벨 없음 · 반복 0.98
—0운영 값 없음 2,000 생성 카드 run(x21e)에 없다. 표본 250 밖 1,750 원문 값은 x21a-gen-G6운영 값 없음—보류라벨 없음
정답 기준 띠 4장 정답을 넣어도 나오는 결함 = 측정기 바닥, 판정 밖(53 문서 2절)
사람 검수 hold3 — 내용 오류 보류였던 셋(각 30 단위): 보류 3
카드표본 결함 [95%]모델과 일치정밀도 [95%]측정 → 보정 [95%]종전 보정판정더 필요한 라벨
E32/30 [1.8–21.3]12/300.10 [0.02–0.28] (2/20)16.0% → 1.6% [1.3–31.0]8.7%보류 유지shift 밖 모델 결함(3,547)에서 약 95, 모델 무결함에서 약 250(놓침 상한 1%p) 또는 약 120(2%p)
E26/30 [9.5–37.3]16/300.30 [0.13–0.51] (6/20)9.6% → 2.9% [2.6–28.0]8.7%보류 유지mismatch 에서 약 59 더(정밀도 반폭 10%p), fit · plain 에서 약 250(놓침 상한 1%p) 또는 약 120(2%p)
D71/30 [0.6–16.7]30/301.00 [0.14–1.00] (v6 결함 1/1 단위)3.8% → 3.8% [1.7–22.2]불명보류 유지v6 규칙 결함(LLM 양수 238)에서 약 70, 규칙 0 쪽에서 약 250(특히 v5 결함 · LLM 양수 · v6 0 인 1,722 층, 표본 0)

표본은 모델 결함 답을 20, 무결함 답을 10 뽑은 과대 표집이라 정밀도와 보정값은 층 가중으로 냈다(D7 은 수정 전 v5 규칙 기준이라 지금 v6 결함은 1 단위만 들었다. 일치는 v6 규칙과). 표본 결함 비율은 모집단 비율이 아니다. 보정 = 측정 × 정밀도 ÷ 재현율(30 문서 3.2). 구간이 3.5%(4.1 준수 선례 상한, 판정 선은 제안)를 걸치면 보류다. 모델 무결함 쪽 10 단위로는 놓침을 가리지 못해 구간 위쪽이 넓다.

등급 = 결과를 내는 카드의 속성(30 문서 3.1 · 8절 1), 등급 없는 카드는 「—」 · 기준값 = 측정 설계, 판정 규칙 = 30 문서 3.2 · 판정 문구 = 30 문서 4.1–4.3절(E3 · E2 · D7 은 48 문서 hold3) · 4.5절(등급 없는 카드, 기준값은 53 문서 카드 근거로 제안) · 값 = 30b agg_2k_3_O(generation 20261024T100739Z-a75be5ef), D7 = agg-2k-4 · 두 등급에 걸친 행은 결함 답 부분의 장 비율 · 기본 m 밖 E6 · R5 는 집계 밖 · 행을 누르면 근거가 열린다

1부 · 바깥 자로 본 자리

BAD 비율은 전환 전 방식 27–36% 에서 지금 19.4% 로 내려갔다. 디자이너 원본은 8–9% 다

같은 judge(LLM 총평)의 BAD 비율, 낮을수록 좋다. 553 입력 × 상위 10.

원본 수준까지 남은 거리의 대부분이 6장의 전달 저하 항목이다. judge 는 옛 판으로 만든 보조 지표라 절대 기준으로 쓰지 않는다.

출처: 30 문서 2절 ③ · 5절 · MOR-2557 judge 정본 규칙 · 전환 전 값의 폭은 08-13 전후 합산 규칙 차(27.3–36.1%)

1부 · 조건

결함은 무작위가 아니라 세 조건에 몰린다

여러 덩어리 원문

원문의 25–38% 에 생성 결함의 60–80%

글 누락 7.7% → 33.9%
항목 소속 2.2% → 25.4%

표와 데이터

단위의 9–24% 에 결함의 38–64%

질의 글 없음 1.5% → 23.8%
제목 빠짐 0.8% → 9.1%

경계 밖 글이 있는 부분 매치

대치 결함이 높은 자리

제목, 제목 중복, 넘침, 줄바꿈, 위계

숫자는 쉬운 쪽 → 어려운 쪽 결함 비율.

예외: 줄바꿈 T1 과 단어 잘림 D9 는 조건을 가리지 않는다(배수 1.1–1.5). 특정 입력이 아니라 대치의 글 처리 자체가 원인이라, 고칠 곳이 하나로 좁혀진다.

출처: 27 문서(2,000 원문을 해시로 반씩 나눠 찾기와 확인 양쪽에서 재현된 조건 61개, 카드 33장) · 조건은 관찰이지 원인이 아니다

1부 · 개선

무엇을, 어디를 고치나: 여섯 묶음

#액션링크고칠 곳 (iui 운영 판 377357ddd)근거
1줄바꿈 (D9, T1)대치replacement.ts:717–736 이 렌더러에 줄바꿈 방식을 넘기지 않는다. keep-all 수정은 꺼진 재배치에만 있다전달 저하 단독 1위 · T1 결함의 83% 가 줄바꿈 정책 부재
2거짓 구조 (E2)검색align.rs:890–903 머리칸 없는 표에서 열 제목을 버림 · threading/plan.rs:384–403 한 단계를 여러 STEP 카드로 쪼갬두 곳이 E2 결함의 28% · 채택 오즈비 0.75(카드 중 가장 큼)
3용량 하한 (C1)색인helpers.ts:1769–1778 chars 산식에 원문 길이 하한이 없다규칙 전수, 신뢰 높음
4생성 표와 나눔 (G5, G2, G7)생성l2-system-v3.txt:27 과 :114–118 충돌, 행 칸 수 검사 없음여러 덩어리 원문에 결함 60–80%
5글머리 합치기, 글 버림 (T4, D2)대치text.rs:63–73 bullet_join · align.rs:620 자리 없는 items 벌점 0정렬 결함 장의 80%
6나눠 담기 (E5)검색threading/plan.rs 가 한 묶음을 여러 장으로 쪼갬(2번 둘째와 같은 코드)E5 결함의 86%
평가기 몫도 함께 고친다. D7 규칙 버그는 고쳤고(31.0 → 3.8%), E3 근거의 56% 는 평가기 의심이라 사람 검수로 확정한다.

출처: 32 문서 3절(결함 감소 × 신뢰도 순위 상위 25 를 고칠 곳 12 묶음으로) · 4절 A–J · 29 문서 4.1절 · E2 몫은 34 문서

1부 · 결론

기본 품질 목표는 달성했고, 도출된 개선 액션으로 지속 개선한다

등급준수의 뜻준수준수 근처보류미준수판정 없음기본 밖액션 아이템
내용 오류O 값이 측정기 바닥과 구분되지 않는다4G8 E1 G9 G1306G3 G5 G1 E3 E2 D7000사람 검수 추가 라벨(E3 · E2 · D7, 6장)
#2 거짓 구조(align.rs, plan.rs)
전달 저하O 값이 디자이너 원본 수준(W)과 구분되지 않는다1R45D8 T3 D4 G4 G104D3 E4 E5 G26D2 G7 G12 T4 T6 T13E3 R4 G130#1 줄바꿈 · #3 용량 하한 · #4 생성 표와 나눔 · #5 글머리 합치기 · #6 나눠 담기
마감 미흡기본 판정 밖, 값만 보인다000001D5응용(요소 대치, 색 대치)에서 다룬다
— 등급 없음카드 근거(53 문서)의 기준값과 구분되지 않는다: ① 바닥 · ④ 사람 판단 갈림 · D9 원본 대조(30 문서 3.1)4B4 P2 P3 D6011B3 R6 R7 G6 B1 B2 P1 P4 P5 R2 R82C1 D900고칠 곳(32 문서 3절): C1 → C 색인 용량 산식 · D9 → B 대치 줄바꿈 방식
보류 해소: 사람 판단 갈림 값(B3 R6) · 쓸 수 있는 바닥 근거(R7) · 2,000 운영 값(8장)

기본 m 48장 = 판정 44 + 정답 기준 띠 4(G0 · I0 · R1 · D1, 측정기 바닥이라 판정 밖). 카드마다 하나로 세면(행이 둘인 카드는 판정이 있는 행) 준수 9 · 준수 근처 5 · 보류 21(그중 운영 값 없음 8) · 미준수 8 · 기본 밖 1. 행으로 세면 두 등급에 걸친 E3, G13, R4 가 두 줄에 든다. 기본 m 밖 E6 · R5 는 세지 않는다.

[선택] 최신 iui 판 표본 재측정 [재측정 후]

조항별 현재 값을 최신 판으로 다시 잰 결과가 들어갈 자리.

출처: 6장 평가 보드의 등급별 판정 수(30 문서 4.1–4.3절 판정 문구 · 4.5절 등급 없는 카드, 8절 1 · 5) · 준수의 뜻 = 30 문서 3.2절 · 액션 = 32 문서 3절 · 액션 번호는 9장 · E3 · E2 · D7 = 48 문서(hold3 사람 검수)

2부 · 전환 전후 채택률

일반 라우트는 −4 – −6%p 내려갔고, 표/차트는 변화를 가리지 못한다

하락은 재방문 계정과 두 유형(HighlightedMessage · LongFormTextLayout)에 몰리지만, 그 둘만은 아니다.

전환 전 markdown 단일장(9/1–10/19)전환 후 VS L1(10/21–10/25)막대 = 상위 10 채택 성공률(KR1), 축 0–50%

일반 라우트

일반35.2%30.5%

표/차트 라우트

표/차트36.2%35.3%
전후 차이일반표/차트
날 비교−3.9 – −4.7%p−0.2 – −0.9%p
원문 길이 표준화−4.7 – −5.5%p−0.4 – +0.3%p
요일 × 길이−4.4 – −5.2%p구간이 0 을 품음
참고: 다장 포함 판(표준화)−2.7 – −3.3%p−1.4 – −2.0%p

전환 전 칸은 중단된 나눠 담기 검색 827 건(KR1 2.1%)을 뺀 값이다. 범위의 두 끝 = 빼기 전(36 문서)과 뺀 뒤(40 문서). 일반 칸은 어느 판에서도 구간이 0 을 넘지 않고, 표/차트 칸은 어느 판에서도 0 을 품는다.

출처: 전환 전 칸 = 40 문서 1.2절 · 2.2절 · 2.6절 · 2.7절(중단된 나눠 담기 827 건 제외) · 전환 후 칸과 차이 = 36 문서 2절 · 4.1–4.2절 · 5절(VS 10/21–10/25, 5,803 건) · 범위 = 36 과 40 의 같은 칸 · 라우트 정의는 35 문서 1.3절

2부 · 채택을 움직이는 요인

검색 사이 차이의 큰 몫은 입력이고, 같은 검색 안 선택에서는 장식 · 이미지 · 나눠 담기가 결함 1개보다 크다

검색 사이: markdown 7주 비품질 계수(일반 단일장 22,923 검색)

요인(1 SD)오즈비 (95%)VS 4일과
입력 길이1.37 (1.31–1.43)같음
앞 14일 채택 이력1.28 (1.23–1.34)다름(VS 1.53)
순위 1–3 장식 8+ 비율1.16 (1.13–1.21)다름(VS 1.04)
순위 1–3 이미지 비율1.07 (1.03–1.11)다름(VS 0.91)
글머리 수0.94 (0.91–0.98)다름(VS 0.84)
렌더 4장 미만0.94 (0.90–0.97)다름(VS 0.82)
학생0.90 (0.86–0.93)같음

설명력 몫(R2): 입력 52% · 세그먼트 30% · 비품질 14% · UI 대리 3%. 계수 23 개 가운데 15 개를 VS 로 옮겼다.

VS 품질 몫은 2–10% markdown 계수 고정 위에 품질이 더하는 몫, R2 4.2 / 10.3% · AUC 1.6 / 4.1%(내 / 외)

같은 검색 안: 어느 장을 고르나(VS 4일, 순위 통제)

요인오즈비 (95%)결함 1개 대비 로그 오즈
결함 1개(대치와 종합 여섯)0.89 (0.83–0.95)1
장식 SVG 8+1.31 (1.14–1.52)약 2배
이미지0.64 (0.54–0.77)약 3.5배
나눠 담기0.30 (0.21–0.41)약 9배
E7 「그대로 쓰지 않겠다」0.62 (0.52–0.74)
검색 tier 2 대 10.86 (0.43–1.53)가리지 못함

품질과 비품질은 서로를 대신하지 않는다(함께 넣어도 오즈비가 그대로). 유형 불일치(검색 tier)는 결함률만 가르고(tier 2–3 원문 +3.4%p) 채택은 가리지 못한다.

출처: 왼쪽 계수 = 37 문서 3.2–3.3절 일반 단일장 판(40 문서 3.2.3 에서 제외 후에도 같음) · 몫 = 40 문서 3.2.1 · 3.2.6(37 문서 판은 비품질 42%, 그 몫은 중단된 나눠 담기 표지) · 오른쪽 = 33 문서 2.1절(배수는 로그 오즈 비) · tier = 38b 문서 요약 2–3

2부 · 하락이 품질 탓인가

품질 탓이라고 볼 근거는 약하다. 간접 근거 둘이 같은 쪽을 가리키고, 직접 분해는 아직 못 한다

간접 근거 1 · VS 안에서 결함 없는 검색

34.2%

순위 1–3 이 「그대로 쓸 수준」이고 생성 결함이 없는 검색(비중 38.3%)의 KR1. 구간 30.9–37.3% 가 전환 전 일반 35.2% 를 품는다.

VS 4일, 판정 검색 2,356, 채택 없는 검색 3.03배 가중

간접 근거 2 · 같은 입력의 judge 대조

32.5% → 22.4%

같은 원문 226 개를 두 방식에 넣으면 BAD 비율이 기존 방식 32.5% 에서 신규(VS) 22.4% 로 내려간다(−10.1%p ±2.3, 낮을수록 좋다).

MOR-2669 C-4 전량, 장 6,170

한계 전환 전 대치 품질은 로그가 없어 하락을 품질로 직접 분해하지 못한다. 과거 상위 10 을 iframe 으로 다시 받아 같은 카드로 재는 재현이 후속이다. 그전까지 「하락이 품질 탓」이라고도, 「품질과 무관」이라고도 말하지 않는다.

출처: 33 문서 5.4절(E7 0 + 생성 0) · 40 문서 1.2절(전환 전 일반) · MOR-2669 C-4(2026-10-10, Confluence x/6IAKsQ) · iframe 재현 = 41 문서(진행 중)

3부 · 우리 카드와 채택

결함이 겹칠수록 채택이 단계적으로 떨어진다

장의 결함 수(대치와 종합 카드 여섯)와 채택 오즈비

0개1개2개3개 이상

결함 하나당 0.87배 (0.81–0.93). 셋 이상이면 0.66(0.51–0.85).

카드와 등급 (0개 · 없음 대비)

무엇오즈비 (95%)
그대로 쓰지 않겠다 E70.61 (0.51–0.72)
거짓 구조 E20.75 (0.62–0.92)
내용 오류 있음0.80 (0.68–0.93)
전달 저하만0.84 (0.72–0.97)
줄바꿈 T1 · 넘침 D80.84 · 0.77
E3 · E4 · E5차이 없음(0.89 · 0.86 · 0.88)
생성 유형 G1(검색 단위)−3.3%p
카드 하나하나는 약하지만 겹치면 뚜렷하다. 계수를 맞춘 결합은 과적합이라 단순 개수가 더 안정적이고, 사람 총평 E7 이 여전히 가장 강하다. 두 등급의 구간은 겹쳐 「둘 다 채택을 줄인다」까지만 말한다.

출처: 31 문서 6.1–6.3절(여섯 = E2, E3, E4, E5, D8, T1) · 28 문서 4–5절(E7, G1) · VS 전환 뒤 4일 실제 노출 장 8,299 재현, 같은 검색 안 순위 보정 조건부 로짓

3부 · 지금 조건에서 결함을 없앴을 때

지금 쓰는 방식 그대로에서 결함을 없애면 KR1 이 2–3%p 오른다. 모형과 실측이 같은 크기다

모형 반사실

+2.3%p

순위 1–3 을 모두 「그대로 쓸 수준」으로, 생성 결함을 0 으로. KR1 31.3% 에서, 구간 0.5–4.1

층별 실측

+3.1%p

실제로 그 조건인 검색(38.3%)의 KR1 34.2% 와 전체 31.1% 의 차. 길이 보정 뒤 34.0%

같은 검색 안 선택

11–22%

같은 결과 목록에서 어느 장을 고르느냐에 품질이 차지하는 몫

이 값이 성립하는 조건 셋

  • 지금 사용자: 지금까지 겪은 품질에 맞춰 쓰는 사용자다. 품질이 꾸준히 좋아질 때 바뀌는 신뢰, 재방문, 입력, 유입은 들어 있지 않다
  • 카드가 보는 결함만: 카드는 결함이 없는지만 보고, 잘 만들었는지는 보지 않는다
  • 4일: VS 전환 뒤 4일 단면이다. 2–3%p 보다 작은 차는 가리지 못한다

실험으로 확인할 때의 예측 제안

account_id 끝자리로 계정 버킷을 나눠 결함을 줄인 판을 일부 버킷에만 켜면, 지금 조건 그대로라면 켠 버킷의 KR1 이 +2–3%p 높게 나온다고 예측한다.

버킷 수 · 기간 · 판정 기준 [설계 후]

출처: 33 문서 5.3절(반사실, VS 4일 판정 검색 2,356, 채택 없는 검색 3.03배 가중, 계정 부트) · 5.4절(실측) · 2.2절(같은 검색 안 몫) · 6절 가정 7 · 실험 설계는 제안(출처 없음)

3부 · 전략

기본은 「그대로 쓸 수준인 검색」을 늘리고, 응용은 같은 검색 안 선택을 가르는 요소를 다룬다

기본: 그대로 쓸 수준인 검색의 비중을 올린다

38.3% → 올린다

순위 1–3 이 그대로 쓸 수준이고 생성 결함이 없는 검색의 지금 비중. 이 검색의 KR1 은 34.2% 다.

레버 = 1부 액션 #1–#6(줄바꿈, 거짓 구조, 용량, 생성 표와 나눔, 글머리, 나눠 담기)

응용: 같은 검색 안 선택을 가르는 요소

레버오즈비 (95%)
장식 SVG 8+1.31 (1.14–1.52)
이미지0.64 (0.54–0.77)
표/차트 L1 threading(나눠 담기 · L2 묶음) 대 single0.19 (0.11–0.33)

threading 은 갈리는 층 121 로 식별된다. 2,000 측정 결함률이 같은 쪽을 가리키지 않아 품질 차이라고 단정하지 않는다.

두 갈래는 서로를 대신하지 않는다. 기본의 남은 항목을 마무리하면서 기본 밖 요소(장식, 이미지, 색, 나눠 담기 방식)를 응용에서 다룬다.

출처: 33 문서 5.4절(38.3%, 34.2%) · 2.1절(장식, 이미지) · 39 문서 B절(threading 0.19, 같은 검색 안 순위 통제) · 29 문서 5절

3부 · 다음과 단서

무엇을 하고, 무엇이 아직 약한가

다음

  • 사람 검수 hold3 90 단위는 마쳤다: E3 · E2 · D7 은 보류 유지. 모델 무결함 쪽과 덜 뽑힌 층을 더 라벨해 확정한다(6장)
  • 평가 항목의 유형 적용표를 명문화하고, 표 특화 카드 둘(열 제목 보존 · 남는 행 · 열)을 검토한다
  • 대치 줄바꿈(#1)부터 고치고 최신 iui 판 표본으로 재측정한다 [재측정 후]
  • 전환 전 상위 10 을 iframe 으로 재현해 하락을 품질로 직접 분해한다(13장)
  • 다운로드 확정 뒤 채택 연결을 다시 본다
  • 버킷 실험으로 단기 효과를 확인한다(15장, 제안)
  • 응용: 요소 대치, 색 대치 착수

단서

  • 판정은 모델이다. 관문(0.8 / 0.8 / 30)을 넘은 LLM 카드는 아직 없다
  • 채택 자료는 VS 4–5일치라 2–3%p 아래 차는 못 가린다
  • 중단된 나눠 담기 검색은 전환 전 쪽에서만 가를 수 있어 비교가 비대칭일 수 있다. 그래서 11장 차이를 범위로 적었다
  • 재현은 색 바꿈(노출의 77%)을 그리지 못했다. 채택과 비채택 비율이 같아 비교를 기울이지는 않는다
  • 조건과 유형은 관찰이지 원인이 아니다

출처: 29 문서 6절 · 40 문서 6절 2 · 41 문서(iframe 재현, 진행 중) · 47 문서(hold3 비고 유형 분류: 칸 지도형 ListingTable 30 단위 중 27 에서 질의 열 제목 없음 · R4 가 표 자리를 세지 않음) · 48 문서(hold3 판정)

부록 · 측정 방법

무엇을 어떻게 쟀나

항목값
원문(1부)9월 실사용 원문 2,000(10자 이상), 상위 10 장 28,457
환경운영 판 그대로: iui comp-pass v0.9.15(377357ddd), 풀 dv2.6@20261021, 로컬 재현
평가 카드52장: 생성 13, 색인 11, 검색 8, 대치 13, 종합 7. 규칙 또는 LLM 3회 판정
운영 대리 확인같은 원문 iframe 200 운영 수집과 결함 비율 일치(D8 5.7 대 6.0%, E4 8.7 대 8.3%)
대치 카드 비교 기준유저 원문이 아니라 그 장을 만든 YAML 몫(원문 대비는 생성 카드)
KR1(2부)마트 fct_component_search.is_kr1_success, 분모 top10_view_cnt > 0. 공통 걸러내기 = KPI 대상, 내부 팀 제외, 입력 10자 이상
창(2부)전환 전 markdown 9/1–10/19(단일장), 전환 후 VS 10/21–10/25(5,803 건). 10/20 은 섞인 날이라 뺀다
라우트summary_log 에 행이 있거나 GA 상위 10 노출에 표/차트 항목이 있으면 표/차트, 그 밖은 일반. VS 는 L1 유형으로 가른다
중단된 나눠 담기단일장인데 GA 나눠 담기 표지가 있는 검색 827 건(일반 534 · 표/차트 293, KR1 2.1%)은 전환 전 칸에서 뺀다
채택 재현(3부)VS 전환 뒤 4일 노출 장 8,299, 로그 순위 93.3% 일치, 운영 지문 일치. 채택 없는 검색 1,000 의 순위 1–3 재현 99.5%
비용2,000 측정 약 $624, 채택 재현 $64, 채택 몫 판정 $28.46

출처: 덱 v16 부록 · 35 문서 0절 · 1.3절 · 36 문서 0절 · 40 문서 0절 · 33 문서 3.1–3.2절

부록 · 카드별 등급

결함 답마다 등급을 건다

등급결함 답
내용 오류지어냄 G8 · 없는 수와 단위 G9 · 뜻 다른 주장 E1 · 표 칸 값 D7 · 템플릿 글 잔존과 경계 밖 템플릿 데이터 E3 · 거짓 구조 E2 · 거짓 유형 G1 · 항목 통째 누락 G3 · 표 구조 바뀜 G5 · 소속 무관 G13
전달 저하글 누락 G7 · 순서 G4 · 나눔 G2 · 표기 G10 · 분할 기준 G12 · 일부 소속 G13 · 질의 글 없음 D2 · 다른 자리 D3 · 제목 빠짐 D4 · 넘침과 겹침 D8 · 안 읽힘 E4 · 구조 흐려짐 E5 · 줄바꿈 T1 · 작은 글자 T3 · 정렬 T4 · 위계 T6 · 자리 모자람과 남음 R4 · 본문 빈 자리 E3
마감 미흡제목 중복 D5 · 배치 어색 E6
— 등급 없음중간 링크의 결함을 재는 카드(B3, B4, C1, P2, P3, R5, R6, R7, D6, D9). 결함 답에 등급을 매기지 않을 뿐 다른 카드와 같은 자격으로 기준값(53 문서 카드 근거)과 판정을 받는다(6장)

근거는 10/08 확정한 심각도 정의다. 본문 자리 임시 문구(R4 자리 남음, E3 본문 빈 자리)는 총평 카드의 정의에 맞춰 전달 저하에 둔다.

출처: 30 문서 3.1절 · 8절 1(매핑 v2) · 8절 5(등급 없는 카드)