Visual Summary · 기본 품질

기본 품질을 이렇게 정의하고,
이렇게 재고, 이렇게 올린다

2026-10-13 내부 공유 · 류민 · 상세 문서 Confluence x/zQcnsQ

왜 지금

응용은 모두 검색 · 대치 위에 선다

visual summary 검색 · 대치는 내용시각화 개선 로드맵의 출발점이다. 기초의 품질이 그 위 모든 응용의 품질을 묶는다.

좁은 범위에서 기본 품질을 먼저 올린다. 그러려면 셋이 필요하다 — 무엇이 기본인지, 무엇이 잘된 결과인지, 어떻게 재는지.

경계

나누는 것은 기본, 합치는 것은 응용

원문을 몇 조각으로 나누든, 장 하나에 컴포넌트 하나를 채우면 기본이다. 지금 서비스되는 세 형태가 모두 여기에 든다.

기본이 다루는 층은 텍스트다. 요소 · 스타일 · 배치는 원본대로 두고, 채운 결과가 원본의 가독성 · 완결성을 깨지 않아야 한다. 기본 안에서는 장 품질(세 형태 공통)을 먼저, 분할 품질(L2 · threading)을 그다음에 잰다.

정의

잘된 결과는 네 조건을 모두 만족한다

스타일 · 요소 · 배치는 기본의 범위 밖이다. 네 조건이 같으면 생김새가 달라도 똑같이 좋은 결과다.

측정의 출발점

실제 원문에는 정답이 없다 — 그래서 정답을 아는 문제를 만든다

우리 컴포넌트는 디자이너가 실제 내용을 담아 만든 템플릿에서 왔다. 그 글로 원문을 거꾸로 만들면, 그 원문을 네 조건대로 담는 컴포넌트가 적어도 하나 있다는 것이 보장된다.

정답이 확실하고 원문이 자명한 가장 쉬운 문제다. 여기서 틀리는 곳은 실제 원문에서도 틀릴 곳이다.

판정 기준

원본이 1위일 필요는 없다 — 원본보다 못한 것이 위에 오면 안 된다

두 개의 자

정답 있는 시험으로 찾고 고치고, 실제 원문으로 채택한다

실제 원문 판정만으로는 원인을 짚기 어렵다 — 검색 순위 1위와 10위의 BAD 비율이 21.2% 대 20.7% 로 거의 갈리지 않는다(10/06 전량 판정). 두 자는 서로를 대신하지 않는다.

무엇을 재나

단계(링크)마다 재고, 전체 사슬도 잰다

개선 여지 계단 — 운영 단계를 정답으로 하나씩 바꿔 끼우며 원본 재현율을 다시 잰다. 오른 만큼이 그 단계가 잃는 몫이고, 고칠 순서가 된다.

PoC · 골든 데이터셋

운영 검색 풀에서 18종을 같은 수로 뽑아 정답을 만들었다

1. 구조 정답 — 상위 모델 둘이 따로 판정하고, 갈린 것만 셋째가 가른다. 사람 검수(경계 60 · 속성 30)로 신뢰도를 잰다.
2. YAML 정답 — 규칙 알고리즘으로 변환하고 규약 검증기로 확인한다(test 237 · val 118).
3. 원문 — YAML 의 글을 모두, 글자 그대로 담은 자명한 원문.
4. train 으로 고치고, val 로 고르고, test 로 확인한다. test 는 통계만 쓴다.

PoC 결과 · 개선 여지 계단

대치는 된다 — 원본이 검색에서 올라오지 않는다

원본 재현율 · test 237(val 118 도 같은 그림: 0.8 → 11.0 → 16.9 → 92.4). 원본이 아예 검색 후보에 오르지 못한 원문이 237건 중 175건이다. 운영 동일 환경 재측정 중 · 잠정

PoC 결과 · 단계별

가장 약한 곳은 comp_frame 빌드 — 원본이 자기 글을 못 담는다고 적힌다

test 기준. d 에서 떨어진 원본은 순위와 상관없이 검색 후보에서 빠진다 — d 를 통과하지 못한 원문에서 원본이 후보에 든 경우는 없다. 생성은 유형은 넷 중 셋이 맞지만(77.6%) 구조 · 길이까지 맞는 것은 셋 중 하나다.

PoC 결과 · 원인

용량 산정이 실물보다 작다 — 원본에 들어 있는 글도 「넘친다」

개선 · 원칙

측정은 실물대로, 여유는 정책으로 따로

개선 · 실행 계획

검색 앞단부터 고친다

다음 · 넓혀 가는 순서

원본 재현에서 실제 원문까지, 단계마다 확인하며 넓힌다