"위반 딱 1건 늘었는데 준수율이 폭락했어요" — 같은 위반인데 왜 무게가 다를까
지난주에 준수율은 "통과한 항목 수를 전체로 나눈 단순한 비율"이 아니라, 여러 단계를 거쳐 만들어지는 숫자라는 이야기를 드렸습니다. 오늘은 그 이야기에서 담당자분들이 가장 자주 어리둥절해하시는 한 장면을 파고들어 보려 합니다. 현장에서 정말 자주 나오는 질문입니다. 그리고 이 질문 뒤에는 대개 억울함이 섞여 있습니다.

들어가며 — "한 개 늘었을 뿐인데요"
지난주에 준수율은 "통과한 항목 수를 전체로 나눈 단순한 비율"이 아니라, 여러 단계를 거쳐 만들어지는 숫자라는 이야기를 드렸습니다. 오늘은 그 이야기에서 담당자분들이 가장 자주 어리둥절해하시는 한 장면을 파고들어 보려 합니다.
"어제까진 준수율이 88%였는데, 오늘 보니 79%예요. 뭘 그렇게 많이 망쳤나 하고 열어봤더니, 미통과가 딱 한 개 늘었을 뿐이더라고요. 한 개 늘었는데 9%가 빠졌습니다. 이게 말이 되나요?"
현장에서 정말 자주 나오는 질문입니다. 그리고 이 질문 뒤에는 대개 억울함이 섞여 있습니다. "우리가 대체 뭘 그렇게 잘못했길래" 싶은 것이죠. 그런데 반대의 경우도 있습니다. 어떤 사이트는 미통과가 다섯 개나 늘었는데도 준수율은 1%밖에 안 떨어집니다. 다섯 개가 늘었는데 거의 그대로라니, 이것도 이상하기는 마찬가지입니다.
그러니 오늘의 진짜 질문은 이렇게 정리됩니다. "왜 어떤 위반은 준수율을 크게 흔들고, 어떤 위반은 거의 안 흔드나?" 같은 '위반 1건'인데 왜 무게가 이렇게 다른 걸까요. 결론부터 말씀드리면, 준수율이 위반의 '개수'가 아니라 위반의 '무게'로 계산되기 때문입니다. 위반마다 심각한 정도가 다르고, 그 심각한 정도에 따라 준수율에 미치는 힘이 다릅니다. 오늘은 이 '무게' — 조금 더 정확히는 위험도에 따른 가중치 — 가 준수율을 어떻게 움직이는지를, 그리고 그 무게가 잘못 설계되면 어떤 함정이 생기는지를 하나씩 풀어보겠습니다.
미리 한 문장으로 요약하면 이렇습니다. 준수율은 산술평균이 아니라 가중평균입니다. 그래서 위반 하나하나가 준수율에 남기는 발자국의 크기가 제각각입니다. 이 사실을 알고 나면, "1건 늘었는데 왜 폭락했는지"도, "5건 늘었는데 왜 그대로인지"도, 억울함이 아니라 정보로 읽히기 시작합니다.
한 가지 먼저 짚어두겠습니다. 오늘 이야기는 "준수율 계산이 어렵다, 그러니 그냥 도구를 믿어라"는 방향이 아닙니다. 오히려 반대입니다. 준수율이 어떻게 만들어지는지를 아셔야, 눈앞의 숫자가 믿을 만한지 아닌지를 스스로 판단하실 수 있습니다. 좋은 점검 도구의 역할은 "복잡한 계산을 감춰서 안심시키는 것"이 아니라, "그 계산을 투명하게 펼쳐서 직접 따져볼 수 있게 하는 것"입니다. 그래서 오늘 글은 ViewCheck 자랑이라기보다, 어떤 준수율 숫자를 보시든 그걸 제대로 읽는 눈을 드리려는 이야기에 가깝습니다. 오늘 내용을 다 익히시면, 다른 어떤 도구가 내놓은 준수율을 보셔도 "이 숫자는 어디서 흔들릴 수 있겠구나"를 짚어내실 수 있게 됩니다.
![ViewCheck 규칙 검증 결과 화면. 통과·미통과·해당없음 세 칸이 분리되어 있고, 미통과 항목마다 위험도 표시가 붙어 있는 뷰. 준수율 숫자 하나 뒤에 어떤 판정들이 깔려 있는지가 그대로 드러난다 (기관명·도메인 블러) [기존]](https://xbbhievqdmccsexxrdtn.supabase.co/storage/v1/object/sign/covers/content/qmg5g5k7-73395.png?token=eyJraWQiOiJzdG9yYWdlLXVybC1zaWduaW5nLWtleV8yOWQwYWZmNy1mOWJhLTRkNmUtYmZlZi0yMzg2NTc0ZWUzODQiLCJhbGciOiJIUzI1NiJ9.eyJ1cmwiOiJjb3ZlcnMvY29udGVudC9xbWc1ZzVrNy03MzM5NS5wbmciLCJzY29wZSI6ImRvd25sb2FkIiwiaWF0IjoxNzg2MTkzMTYwLCJleHAiOjIxMDE1NTMxNjB9.xOp64FRfrgltPBulkPftTcrelWppSFsbx8nIeD_Vckw)
본론 1 — 먼저 산술평균부터: "1건은 1/N"이라는 착각
왜 사람들이 "1건 늘었는데 9% 빠졌다"를 이상하게 느끼는지부터 짚어보겠습니다. 그 밑에는 무의식적인 계산이 하나 깔려 있습니다. 바로 "위반 1건이면 딱 그 1건만큼만 빠질 것"이라는 기대입니다.
이건 산술평균의 감각입니다. 규칙이 100개 있고 그중 90개가 통과면 90%. 여기서 1개가 미통과로 바뀌면 89개 통과가 되니 89%. 딱 1%가 빠집니다. 이 감각으로 보면 "1건 = 1%" 정도가 자연스럽습니다. 그러니 "1건인데 9%"는 상식에 어긋나 보이는 것이죠.
그런데 이 산술평균의 감각에는 두 가지 숨은 가정이 있습니다. 하나는 "모든 위반의 무게가 같다"는 가정이고, 다른 하나는 "분모(전체 규칙 수)가 충분히 크고 고정돼 있다"는 가정입니다. 이 두 가정이 다 맞으면 "1건 ≈ 1/N"이 성립합니다. 문제는, 실제 공공 웹 점검에서는 이 두 가정이 자주 깨진다는 데 있습니다.
먼저 "모든 위반의 무게가 같다"는 가정부터 봅시다. 정말 그럴까요. 예를 들어 어떤 사이트에서 두 가지 위반이 발견됐다고 해보겠습니다. 하나는 "키보드만으로는 핵심 신청 버튼에 도달할 수 없다"는 위반이고, 다른 하나는 "안내 문구의 줄 간격이 권장값보다 살짝 좁다"는 위반입니다. 이 둘을 똑같은 '위반 1건'으로 세는 게 공정할까요. 앞의 것은 어떤 사용자에게는 서비스를 아예 못 쓰게 만드는 문제이고, 뒤의 것은 불편하긴 해도 이용 자체는 됩니다. 둘의 무게가 같을 수는 없습니다.
바로 여기서 가중치가 등장합니다. 위반마다 "이건 얼마나 중요한 위반인가"를 나타내는 무게를 다르게 줍니다. 그리고 이 무게를 나누는 기준이 위험도 등급, 즉 P0부터 P3까지의 구분입니다. 치명적인 위반(P0)은 무겁게, 경미한 위반(P3)은 가볍게. 이렇게 무게를 달리 주고 나면, 준수율은 더 이상 단순한 "통과 개수 ÷ 전체 개수"가 아니게 됩니다. "통과한 항목들의 무게 합 ÷ 전체 항목들의 무게 합"으로 바뀝니다. 이것이 가중평균입니다.
그리고 이 순간, "1건 = 1/N"의 감각이 무너집니다. 무거운 위반 1건은 준수율을 크게 끌어내리고, 가벼운 위반 1건은 조금만 끌어내립니다. 같은 '1건'이라는 딱지가 붙어 있어도, 그 뒤에 붙은 무게가 다르니 준수율에 남기는 자국이 다른 것이죠. "1건 늘었는데 9% 폭락"은 그 1건이 무거운 위반이었다는 신호이고, "5건 늘었는데 1%"는 그 5건이 다 가벼운 위반이었다는 신호입니다. 이상한 일이 아니라, 무게가 제 역할을 하고 있다는 증거입니다.
두 번째 가정 — "분모가 충분히 크고 고정돼 있다" — 도 자주 깨집니다. 이건 뒤에서 따로 다루겠지만, 미리 감만 잡아두면 이렇습니다. 공공 웹 점검에서는 한 페이지에 판정 가능한 규칙 수가 영역마다 크게 다릅니다. 어떤 영역은 수백 개가 판정되고, 어떤 영역은 그 페이지에 해당 요소가 없어서 몇 개만 판정됩니다. 분모가 작은 영역에서는 위반 1건이 차지하는 비중이 커지니, 같은 1건이라도 준수율을 훨씬 크게 흔듭니다. 즉 "1건이 준수율에 남기는 자국"은 무게(위험도)만이 아니라 분모(판정 수)에도 좌우됩니다. 오늘 이야기가 결국 '무게'와 '분모' 두 축을 함께 보게 되는 이유가 여기 있습니다.
그러니 "1건 = 1%"라는 산술평균의 감각은, 모든 위반의 무게가 같고 분모도 넉넉히 큰 특수한 상황에서만 맞는 근사치입니다. 실제 공공 웹은 그 특수한 상황에서 대부분 벗어나 있습니다. 위반의 무게가 제각각이고, 영역마다 분모가 들쭉날쭉하니까요. 그래서 준수율을 볼 때 "몇 건이 바뀌었나"만 세는 건 절반만 보는 것입니다. "그게 어떤 무게의 위반이었나"와 "그 영역의 분모가 얼마였나"까지 봐야 나머지 절반이 채워집니다.
본론 2 — 왜 굳이 무게를 다르게 주나: 위험도 P0~P3
그렇다면 왜 처음부터 무게를 다르게 줄까요. 그냥 다 똑같이 세면 계산도 쉽고 오해도 없을 텐데요. 여기에는 분명한 이유가 있습니다. 무게를 똑같이 주면, 준수율이 사용자의 실제 고통과 어긋나기 때문입니다.
극단적인 예를 하나 들어보겠습니다. 어떤 두 사이트가 있습니다. A 사이트는 자잘한 여백·줄 간격 위반이 열 개 있지만 핵심 기능은 다 됩니다. B 사이트는 그런 자잘한 위반은 하나도 없는데, 대신 "화면 낭독기를 쓰는 분이 신청 양식을 아예 제출할 수 없는" 치명적 위반이 딱 하나 있습니다. 만약 모든 위반을 똑같은 무게로 센다면, 위반 열 개짜리 A가 위반 한 개짜리 B보다 준수율이 훨씬 낮게 나옵니다. 숫자만 보면 A가 더 나쁜 사이트인 셈이죠.
그런데 실제로 누가 더 곤란할까요. B 사이트에서 신청을 못 하는 그 사용자입니다. A의 자잘한 불편 열 개를 다 합쳐도, B의 "아예 못 씀" 하나를 못 당합니다. 그러니 준수율이 A를 더 나쁘게 표시하는 건 현실과 거꾸로입니다. 이 거꾸로를 바로잡는 장치가 위험도 가중치입니다. B의 치명 위반에 무거운 무게를 주면, 위반이 하나뿐이어도 B의 준수율이 제대로 낮게 나옵니다. 그제서야 준수율이 "사용자가 실제로 얼마나 곤란한가"를 반영하게 됩니다.
그래서 위반을 발견하는 것만큼이나, 그 위반이 어느 등급인지를 판정하는 일이 중요합니다. ViewCheck가 위반을 P0부터 P3까지 나눠 두는 게 이 때문입니다. 대략의 결을 말씀드리면, 아무도 그 기능을 못 쓰게 만드는 치명적 문제일수록 위쪽 등급으로, 불편하지만 이용은 되는 문제일수록 아래쪽 등급으로 배치됩니다. 등급이 위로 갈수록 무게가 커지고, 그 위반 하나가 준수율에 남기는 자국도 커집니다.
여기서 오해를 하나 풀어두겠습니다. "무게를 준다"는 게 "가벼운 위반은 무시한다"는 뜻은 아닙니다. 경미한 위반도 위반이고, 준수율에 반영됩니다. 다만 그 자국이 작을 뿐입니다. 자잘한 위반이 쌓이고 쌓이면 그것도 준수율을 눈에 띄게 끌어내립니다. 무게는 "무시하느냐 마느냐"의 스위치가 아니라, "얼마나 반영하느냐"의 다이얼에 가깝습니다. 치명 위반은 다이얼을 크게 돌리고, 경미 위반은 작게 돌리는 것이죠.
조금 더 감을 잡으실 수 있게, 등급이 어떤 결로 나뉘는지 예를 들어보겠습니다. 정확한 등급 배정은 규칙마다 사람이 신중히 정하는 것이라 여기서 단정할 수는 없지만, 대략의 방향은 이렇습니다. 위쪽 등급에는 "그 문제 하나 때문에 어떤 사용자가 서비스를 아예 완수하지 못하는" 종류가 놓입니다. 화면 낭독기로 핵심 양식을 제출할 수 없다거나, 키보드만으로는 중요한 메뉴에 닿을 수 없다거나 하는 것들이죠. 반대로 아래쪽 등급에는 "불편하지만 우회할 수 있고, 이용 자체는 되는" 종류가 놓입니다. 여백이 권장값보다 조금 좁다거나, 안내 문구의 대비가 아주 살짝 부족하다거나 하는 것들입니다. 이렇게 나눠 두면, "이 사이트에 위반이 몇 개인가"보다 "이 사이트에 사용자를 정말 곤란하게 만드는 위반이 있는가"가 준수율에 먼저 드러납니다. 사용자가 겪는 고통의 크기와 준수율의 하락 폭이 대체로 나란히 가게 되는 것이죠.
그리고 이 등급 판정이 흔들리면 준수율도 같이 흔들립니다. 같은 위반을 어제는 보통 등급으로, 오늘은 심각 등급으로 봤다면, 사이트는 그대로인데 준수율만 움직입니다. 그래서 "위반을 발견하는 일관성"만큼이나 "그 위반을 같은 등급으로 판정하는 일관성"이 중요합니다. 사람이 매번 손으로 등급을 매기면 이 일관성이 쉽게 무너지지만, 같은 기준을 코드로 고정해 두면 어제의 판정과 오늘의 판정이 같아집니다. 무게가 흔들리지 않으니, 준수율의 변화가 '진짜 변화'만 담게 됩니다.
이 위험도 등급의 자세한 이야기 — 어떤 위반이 왜 P0이고 어떤 게 P3인지, 그리고 그 등급이 개선 우선순위와 비용 추정에 어떻게 쓰이는지 — 는 다음 달(4개월차, 위험도와 비용)에서 본격적으로 다룹니다. 오늘은 "등급에 따라 무게가 다르고, 그 무게가 준수율을 움직인다"는 원리까지만 붙잡고 가겠습니다.
본론 3 — 그래서 "같은 1건"도 자국의 크기가 다르다
이제 처음의 질문으로 돌아가 봅시다. "1건 늘었는데 9% 빠졌다"와 "5건 늘었는데 1% 빠졌다"가 어떻게 한 계산에서 동시에 나올 수 있는지, 이제 설명이 됩니다.
앞의 사이트는 늘어난 그 1건이 무거운 위반(위쪽 등급)이었던 겁니다. 무거운 무게가 통과 쪽에서 미통과 쪽으로 통째로 넘어가니, 준수율이 크게 빠졌습니다. 뒤의 사이트는 늘어난 5건이 다 가벼운 위반(아래쪽 등급)이었습니다. 가벼운 무게 다섯 개가 넘어가 봐야 합이 작으니, 준수율은 살짝만 빠졌습니다. 같은 계산인데 결과가 이렇게 다른 건, 넘어간 무게의 합이 다르기 때문입니다.
이걸 뒤집어 보면, 준수율을 빨리 끌어올리고 싶을 때 어디부터 손대야 하는지도 보입니다. 무거운 위반부터 고치는 게 준수율에는 효율적입니다. 위쪽 등급 위반 하나를 고치면 그 큰 무게가 미통과에서 통과로 넘어오니, 준수율이 눈에 띄게 오릅니다. 반대로 가벼운 위반을 열 개 고쳐도 준수율은 조금밖에 안 오릅니다. 그래서 "준수율만 올리려면 무거운 것부터"가 산술적으로는 맞습니다.
이 원리는 미통과 목록을 읽는 방식도 바꿉니다. 미통과가 스무 건이라고 해서 스무 건을 다 같은 무게로 볼 필요가 없습니다. 그 스무 건을 위험도 등급으로 줄 세우면, 준수율을 크게 누르고 있는 소수의 무거운 위반과, 준수율에는 거의 영향이 없는 다수의 가벼운 위반이 갈라집니다. 대개는 무거운 위반 몇 건이 준수율 하락의 상당 부분을 차지합니다. 그러니 "스무 건을 다 언제 고치나" 하고 막막해하실 필요 없이, 무거운 몇 건부터 집으면 준수율도 오르고 사용자 고통도 먼저 줄어듭니다. 목록을 등급으로 정렬해 보는 것만으로도, 막막한 스무 건이 "먼저 볼 세 건과 나중에 볼 열일곱 건"으로 정리됩니다.
그런데 바로 여기서 주의가 필요합니다. "준수율을 올리는 것"과 "사이트를 실제로 좋게 만드는 것"이 항상 같지는 않기 때문입니다. 무거운 위반부터 고치는 건 대개 옳습니다. 치명적인 문제부터 없애는 것이니까요. 하지만 만약 무게가 지나치게 극단적으로 설계돼 있다면, 사람들이 "무게 큰 몇 개만" 노리고 나머지는 방치하는 일이 생깁니다. 준수율 숫자는 올라가는데 사용자 경험은 별로 안 나아지는 것이죠. 이게 다음 본론에서 볼 첫 번째 함정입니다.
한 가지 더 짚어둘 게 있습니다. 무거운 위반부터 고치는 게 '준수율 효율'에는 맞지만, 실제 개선 계획에서는 무게만이 유일한 기준이 아닙니다. 어떤 위반은 무게는 중간인데 고치기가 아주 쉽고, 어떤 위반은 무게는 크지만 손대려면 사이트 구조를 크게 바꿔야 합니다. 그래서 실무에서는 "무게(위험도)"와 "고치는 난이도"를 함께 놓고 우선순위를 정합니다. 무겁고 쉬운 것부터, 그다음 무겁고 어려운 것, 이런 식으로요. 준수율은 그 우선순위를 정하는 출발점을 주는 것이지, 그 자체가 개선 계획 전부는 아닙니다. 이 "위험도 × 난이도"로 우선순위를 짜는 이야기는 다음 달(위험도와 비용) 주제이니, 오늘은 "준수율에는 무게가 반영된다"는 원리까지만 정리하겠습니다.
정리하면, 가중치는 준수율을 사용자의 실제 고통에 맞추는 좋은 장치입니다. 하지만 이 장치를 어떻게 설계하느냐에 따라, 준수율이 현실을 잘 비추기도 하고 오히려 왜곡하기도 합니다. 무게는 잘 쓰면 약이고, 잘못 쓰면 독입니다. 지금부터는 그 '독'이 되는 경우들을 하나씩 보겠습니다.
본론 4 — 함정 ①: 무게를 너무 극단적으로 벌렸다
가장 흔한 함정부터입니다. 위험도별 무게 차이를 지나치게 크게 벌렸을 때입니다.
무게로 위험도를 반영하는 건 맞습니다. 다만 "치명이 경미보다 무겁다"는 것과 "치명이 경미의 백 배 무겁다"는 것은 전혀 다른 이야기입니다. 만약 무게를 이런 식으로 극단적으로 준다고 가정해 보겠습니다. 어디까지나 원리를 보여드리기 위한 가정의 숫자입니다.
- 치명 등급: 무게 100
- 심각 등급: 무게 10
- 보통 등급: 무게 3
- 경미 등급: 무게 1
이렇게 주면 치명 위반 하나가 경미 위반 백 개와 맞먹습니다. 이러면 치명 위반 딱 하나가 준수율을 통째로 휘두릅니다. 치명 규칙 하나가 통과에서 미통과로 바뀌는 순간, 무게 100이 통과 쪽에서 빠집니다. 다른 게 다 그대로여도 준수율이 뚝 떨어집니다. "위반 1건 늘었는데 폭락"의 가장 극적인 형태가 이렇게 나옵니다. 물론 치명 위반이 실제로 준수율을 크게 흔드는 건 맞지만, 이 정도로 극단적이면 준수율이 '사이트 상태'가 아니라 '무게 설계'를 비추게 됩니다.
반대 방향으로도 문제가 생깁니다. 치명 규칙 하나만 고치면 준수율이 확 오르니, 사람들이 "준수율 올리기 게임"을 하게 됩니다. 사이트를 골고루 좋게 만드는 대신, 무게 큰 규칙 몇 개만 집중해서 노립니다. 숫자는 오르는데 실제 품질은 별로 안 좋아집니다. 무게가 극단적이면 이런 왜곡이 따라옵니다.
숫자로 한 번 대비해 보면 더 분명합니다. 판정 가능한 규칙이 스무 개인 어떤 영역을 가정하겠습니다. 열아홉 개 통과, 한 개 미통과인 상황입니다. 미통과한 그 한 개가 치명 등급이라고 해봅시다.
무게 차이를 온건하게(가령 위쪽 등급이 아래쪽의 몇 배 정도로) 뒀다면, 치명 한 건이 빠져도 준수율은 '뚝'이 아니라 '살짝' 내려갑니다. 열아홉 개나 통과했다는 사실이 준수율에 그대로 반영되니까요. 그런데 무게 차이를 위의 가정처럼 백 배로 벌렸다면, 그 치명 한 건의 무게 100이 통째로 빠지면서, 나머지 열아홉 개를 다 더한 무게보다 그 하나가 더 커지는 상황이 벌어질 수 있습니다. 그러면 준수율이 절반 밑으로 추락하기도 합니다. 열아홉 개나 통과했는데 준수율은 반토막이라니, 직관과 한참 어긋납니다.
같은 "열아홉 통과 한 개 미통과"인데, 무게 설계 하나로 준수율이 안정적으로 나오기도 하고 반토막이 나기도 합니다. 이게 극단 무게의 위험입니다. 그래서 무게는 신중하게, 그리고 극단을 피해서 정해야 합니다. 준수율은 사이트 상태를 비추는 거울이어야지, 무게 설계를 비추는 거울이어선 안 되니까요.
물론 "진짜로 치명적인 것"은 따로 다뤄야 합니다. 키보드로 아예 접근이 안 되거나 핵심 양식이 제출되지 않는 문제는, 준수율과 별개로 "이건 무조건 막아야 할 사안"이라고 눈에 띄게 표시하는 게 맞습니다. 다만 그건 '무게를 극단으로 줘서 준수율로 눌러버리는' 방식이 아니라, '치명 위반은 별도의 빨간 깃발로 띄우는' 방식이 낫습니다. 준수율은 준수율대로 안정적으로 두고, 치명 사안은 따로 경고로 꽂는 것이죠. 이렇게 나누면 준수율도 안 흔들리고 치명 사안도 묻히지 않습니다.
왜 이렇게 나누는 게 나은지 조금 더 설명드리면, 준수율과 경고는 역할이 다르기 때문입니다. 준수율은 "이 사이트가 전반적으로 어느 수준인가"를 하나의 숫자로 요약해 시점 간·사이트 간 비교에 쓰는 지표입니다. 반면 치명 위반 경고는 "지금 당장 막아야 할 게 있는가"를 알리는 신호입니다. 이 둘을 한 숫자에 욱여넣으면 둘 다 제 역할을 못 합니다. 치명 위반 하나가 준수율을 반토막 내면, 비교 지표로서의 준수율은 망가집니다. 반대로 치명 위반을 준수율 안에 흐릿하게 녹여버리면, 당장 막아야 할 신호가 다른 위반들 사이에 묻힙니다. 그래서 "안정적인 비교 지표"와 "또렷한 경고 신호"를 분리해 두는 게, 둘 다 살리는 길입니다. 준수율은 완만하게, 경고는 선명하게 — 이 역할 분담이 극단 무게의 함정을 근본에서 피하게 해줍니다.

본론 5 — 함정 ②: 분모가 작아서 흔들렸다
무게만 준수율을 흔드는 건 아닙니다. 분모, 즉 판정 가능한 규칙 수가 작을 때도 준수율이 크게 출렁입니다. 이건 무게와는 다른 결의 함정인데, 실제 현장에선 이 둘이 겹쳐서 나타나는 일이 잦습니다.
생각해 봅시다. 어떤 영역에 판정 가능한 규칙이 열 개뿐이라고 하겠습니다. 나머지는 그 페이지에 해당 요소가 없어서 '해당없음'으로 빠진 상태입니다. 이 열 개 중 하나가 미통과로 바뀌면 어떻게 될까요. 열 개 중 하나니까 10%가 빠집니다. 위반 1건에 10%인 것이죠. 반대로 판정 가능한 규칙이 이백 개인 영역에서 하나가 미통과로 바뀌면, 이백 개 중 하나니까 0.5%만 빠집니다. 같은 '위반 1건'인데 분모의 크기 때문에 영향이 스무 배 차이가 납니다.
여기에 무게까지 겹치면 진폭이 더 커집니다. 분모가 작은데 그 하나가 무거운 위반이기까지 하면, 준수율이 정말 크게 흔들립니다. 반대로 분모가 크고 그 하나가 가벼운 위반이면, 준수율은 거의 꿈쩍도 안 합니다. "1건 늘었는데 폭락"과 "5건 늘었는데 그대로"의 양극단이, 무게와 분모의 조합에서 나오는 셈입니다.
이 문제가 특히 잘 생기는 곳이 컴포넌트(CP) 영역입니다. 한 페이지만 놓고 보면, 컴포넌트 규칙 수백 개 중 대부분이 '그 페이지에 그 부품이 없어서' 해당없음으로 빠지고, 판정 가능한 게 몇 개 안 남을 수 있습니다. 그 작은 분모에서 한두 건만 미통과여도 준수율이 크게 출렁입니다. "이 페이지 컴포넌트 준수율 50%!"라는 무서운 숫자가, 알고 보면 "판정 가능한 네 개 중 두 개 미통과"여서 나온 것일 수 있습니다. 표본이 작으면 숫자는 불안정해지기 마련입니다.
![ViewCheck 컴포넌트(CP) 상세 보기 화면. 그 페이지에 없는 부품이 대거 해당없음으로 빠지고, 판정 가능한 항목만 통과·미통과로 표시된 뷰. 판정 가능한 수가 몇 건인지가 함께 보인다 (기관명·도메인 블러) [기존]](https://xbbhievqdmccsexxrdtn.supabase.co/storage/v1/object/sign/covers/content/avb91cad-51017.png?token=eyJraWQiOiJzdG9yYWdlLXVybC1zaWduaW5nLWtleV8yOWQwYWZmNy1mOWJhLTRkNmUtYmZlZi0yMzg2NTc0ZWUzODQiLCJhbGciOiJIUzI1NiJ9.eyJ1cmwiOiJjb3ZlcnMvY29udGVudC9hdmI5MWNhZC01MTAxNy5wbmciLCJzY29wZSI6ImRvd25sb2FkIiwiaWF0IjoxNzg2MTkzMTYxLCJleHAiOjIxMDE1NTMxNjF9.QkG8WdZpHbHaXqfQYv_heSpnX1gWC5P2_RwCFaDth2g)
해법은 두 가지입니다.
첫째, 여러 페이지를 합쳐서 분모를 키웁니다. 한 페이지에선 컴포넌트가 네 개뿐이어도, 사이트 전체로 합치면 수십 수백 개가 됩니다. 분모가 커지면 위반 1건의 상대적 영향이 작아져서 준수율이 안정됩니다. 그래서 사이트 단위 준수율이 페이지 단위보다 훨씬 믿을 만합니다. 이 다중 페이지 합산의 원리는 6개월차(다중 페이지 분석)에서 깊게 다룹니다만, 오늘 맥락에서는 "분모를 키우면 흔들림이 줄어든다"는 정도로 기억해 두시면 됩니다.
둘째, 분모가 작을 땐 준수율을 조심해서 읽습니다. "판정 네 건 중 두 건 통과 = 50%"는 틀린 계산은 아니지만, 표본이 작아 불안정하다는 걸 알고 봐야 합니다. 좋은 리포트는 준수율만 던지지 않고 "판정 가능했던 규칙 수"를 함께 보여줍니다. "컴포넌트 50% (판정 4건)"처럼요. 그래야 그 50%를 얼마나 믿을지 가늠이 됩니다. 판정 4건에서 나온 50%와 판정 400건에서 나온 50%는 완전히 다른 무게의 숫자입니다.
이 대목에서 흔한 오해를 하나 풀어야 합니다. "그럼 판정 가능한 규칙이 적은 영역은 아예 안 믿어도 되나요?"라는 물음인데, 그렇지는 않습니다. 분모가 작다는 건 "그 숫자를 단독으로 크게 해석하지 말라"는 뜻이지, "그 영역을 무시하라"는 뜻이 아닙니다. 한 페이지의 컴포넌트 판정이 몇 건뿐이어도, 그 페이지에서 실제로 미통과가 났다면 그건 진짜 위반입니다. 다만 "이 페이지 컴포넌트 준수율 50%"라는 표현을 사이트 전체의 컴포넌트 수준으로 확대 해석하면 안 되는 것이죠. 페이지 단위의 작은 분모는 "이 페이지에 이런 문제가 있다"는 구체적 단서로 읽고, 사이트 전체의 수준은 여러 페이지를 합친 큰 분모로 읽는 것 — 이 둘을 구분하는 게 핵심입니다. 작은 분모의 숫자는 '위치를 알려주는 지표'로, 큰 분모의 숫자는 '수준을 알려주는 지표'로 나눠 쓰면, 분모가 작아서 생기는 착시에 덜 휘둘립니다.
그래서 준수율을 볼 때는 "이 숫자의 분모가 몇인가"를 습관처럼 함께 확인하는 게 좋습니다. 유독 높거나 유독 낮은 숫자를 만나면, 그게 큰 표본에서 안정적으로 나온 숫자인지, 아니면 작은 표본에서 우연히 튄 숫자인지부터 봅니다. 이 한 번의 확인이, "위반 1건에 폭락"이나 "판정 두 건으로 나온 100%" 같은 오해를 막아줍니다.
본론 6 — 함정 ③: 해당없음 처리가 흔들렸다, 그리고 함정 ④: 무게를 숨겼다
세 번째 함정은 '해당없음'을 어떻게 처리하느냐입니다. 지난주에 길게 다룬 주제인데, 준수율 흔들림의 원인으로도 자주 등장하기에 다시 짚겠습니다.
해당없음은 분모에서 빼는 게 원칙입니다. 그런데 이걸 잘못 처리하면 준수율이 엉뚱하게 움직입니다. 만약 해당없음을 '미통과'로 쳐버리면 어떻게 될까요. 모달 창이 없는 페이지에서 모달 관련 규칙 열 개가 전부 미통과로 잡힙니다. 잘못한 게 없는데도 준수율이 확 깎입니다. 그러다 다른 페이지에서 모달이 등장해 통과하면, 갑자기 준수율이 오릅니다. 페이지마다 준수율이 널뛰는 것이죠. 반대로 해당없음을 '통과'로 쳐버리면, 준수율이 부풀려집니다. 확인도 안 한 걸 통과로 쳤으니까요. 그러다 진짜 판정이 들어가면 준수율이 떨어집니다. 역시 출렁입니다.
여기서 왜 이 문제가 준수율 흔들림과 이어지는지를 조금 더 풀어보겠습니다. 해당없음 처리가 페이지마다 다르면, 사실상 페이지마다 분모가 달라지는 셈입니다. 어떤 페이지에서는 모달 규칙을 해당없음으로 빼서 분모가 작아지고, 어떤 페이지에서는 그걸 미통과로 세서 분모에 넣습니다. 분모가 페이지마다 널뛰니 준수율도 널뜁니다. 앞에서 본 '작은 분모' 함정과 '해당없음' 함정이 사실은 한 뿌리에서 갈라진 것임을 알 수 있습니다. 둘 다 "분모를 어떻게 세느냐"의 문제인 것이죠. 그래서 해당없음을 일관되게 처리하는 것은 단순히 계산을 정확히 하는 차원을 넘어, 준수율이 페이지마다 요동치는 걸 막는 안정 장치이기도 합니다.
이 함정이 특히 까다로운 건, 틀렸는데도 준수율이 그럴듯해 보인다는 점입니다. 해당없음을 통과로 흡수한 사이트는 준수율이 높게 나옵니다. 95% 같은 숫자가 뜨죠. 보기엔 훌륭합니다. 그런데 그 95%의 상당 부분이 "확인도 안 한 걸 통과로 친" 거품일 수 있습니다. 거품인 줄 모르고 "우리 사이트 95%네" 하고 안심하면, 진짜 문제가 가려집니다. 나중에 제대로 판정하는 도구로 다시 보면 70%가 나오고, "왜 갑자기 떨어졌냐"는 혼란이 생깁니다. 떨어진 게 아니라 원래 그 정도였는데, 앞의 95%가 거품이었을 뿐입니다.
그래서 준수율이 '높게' 나올 때도 한 번쯤 의심해볼 필요가 있습니다. "이 95%에서 해당없음은 어떻게 처리됐지? 분모에서 빠졌나, 통과로 흡수됐나?" 세 칸(통과·미통과·해당없음)을 따로 보여주는 리포트라면 이걸 바로 확인할 수 있습니다. "통과 200 / 미통과 10 / 해당없음 600"이라면, 분모가 210인지 810인지에 따라 준수율이 완전히 달라집니다. 정직한 계산은 210을 분모로 씁니다. 이 분모가 투명하게 보여야, 95%가 진짜인지 거품인지 알 수 있습니다.
네 번째 함정은 산식 자체보다 '투명성'의 문제입니다. 가중치를 썼으면서 그 무게를 안 밝히면, 준수율이 멀쩡해도 신뢰를 잃습니다. 상황을 그려보겠습니다. 누군가 "이 사이트 79%"라고 했습니다. 받는 사람이 묻습니다. "왜 79%죠?" 답이 "음… 계산하면 그렇게 나와요"라면, 그 79%는 믿기 어렵습니다. 어떻게 나온 숫자인지 모르니까요.
특히 가중치가 들어가면 더 그렇습니다. 단순 개수(통과 ÷ 전체)는 누구나 검산할 수 있습니다. 그런데 가중치가 들어가면 "어떤 위반에 얼마의 무게를 줬는지"를 모르면 검산이 안 됩니다. 그러니 가중치를 쓸수록 그걸 더 투명하게 밝혀야 합니다. "치명 위반과 경미 위반의 무게를 이렇게 나눴고, 이 사이트는 치명 두 건과 심각 다섯 건을 어겨서 79%"처럼 근거가 따라와야 합니다. 이건 함정이라기보다 원칙입니다. 가중치를 쓰는 만큼 투명해져야 하는 것이죠. 무게를 숨기면 정교하게 계산한 준수율도 "그냥 그쪽이 정한 숫자" 취급을 받습니다. 반대로 무게를 다 공개하면, 받는 쪽이 "아 이래서 79%구나, 그럼 이 치명 두 건부터 고치자"로 바로 움직입니다. 투명성이 준수율을 행동으로 바꿉니다.
![ViewCheck 오류(미통과) 리스트 화면. 미통과 항목이 위험도 등급과 함께 나열되어, 어떤 위반이 무거워서 준수율을 끌어내렸는지가 목록으로 보이는 뷰. "준수율 79%"라는 숫자가 어떤 미통과들로 만들어졌는지가 근거로 따라온다 (기관명·도메인 블러) [기존]](https://xbbhievqdmccsexxrdtn.supabase.co/storage/v1/object/sign/covers/content/s1nh7pi0-23789.png?token=eyJraWQiOiJzdG9yYWdlLXVybC1zaWduaW5nLWtleV8yOWQwYWZmNy1mOWJhLTRkNmUtYmZlZi0yMzg2NTc0ZWUzODQiLCJhbGciOiJIUzI1NiJ9.eyJ1cmwiOiJjb3ZlcnMvY29udGVudC9zMW5oN3BpMC0yMzc4OS5wbmciLCJzY29wZSI6ImRvd25sb2FkIiwiaWF0IjoxNzg2MTkzMTYxLCJleHAiOjIxMDE1NTMxNjF9.6M8KNUtxBQadACjZ4vTcQqWceaEDUhJNBXwZtgLpUes)
이 투명성을 한마디로 표현하면 "검산 가능한가"입니다. 좋은 준수율은 받는 사람이 직접 따라가 검산할 수 있습니다. 위반 목록과 각 위반의 등급, 그리고 그 등급의 무게가 다 보이면, 의심 가는 사람은 직접 계산해볼 수 있습니다. 계산해보면 맞으니 믿게 됩니다. 반대로 검산이 안 되는 준수율은 "믿어 달라"는 부탁에 가깝습니다. 산식도 무게도 안 보이고 결과만 "79%"라면, 받는 사람은 믿거나 말거나 둘 중 하나이고, 보통 안 믿습니다. 특히 그 숫자가 자기에게 불리할 때(우리 사이트가 낮게 나왔을 때) 더 안 믿습니다. 공공 점검처럼 결과에 책임이 따르는 자리에선, 검산 가능성은 단순한 친절이 아니라 점검의 생존 조건입니다. 점검을 받는 기관이 승복하려면, 그 숫자를 따라가 볼 수 있어야 하니까요. 따라가 보고 "아 맞네, 우리가 이 치명 두 건을 어겼구나, 여기부터 고치자"가 되어야 점검이 개선으로 이어집니다. 검산 안 되는 숫자는 논쟁만 낳고 개선은 안 낳습니다.
본론 7 — 흔들림을 발견하는 습관, 그리고 안 흔들리는 준수율의 조건
지금까지 준수율을 흔드는 네 가지 함정을 봤습니다. 무게가 극단적일 때, 분모가 작을 때, 해당없음 처리가 흔들릴 때, 무게를 숨길 때. 이걸 뒤집으면 그대로 '좋은 준수율의 조건'이 됩니다. 한 표로 정리해 보겠습니다.
| 함정 | 증상 | 해법 |
|---|---|---|
| 무게가 극단적 | 위반 1건에 폭락, 준수율 올리기 게임 유발 | 차이는 두되 극단은 피함 |
| 분모가 작음 | 표본이 적어 준수율 출렁 | 여러 페이지 합쳐 분모 키움 + 판정 수 함께 표시 |
| 해당없음 오처리 | 페이지마다 준수율 널뜀 | 일관되게 분모에서 뺌 + 세 칸 따로 표시 |
| 무게 숨김 | 준수율 멀쩡해도 불신 | 무게·근거 투명 공개 |
이 표를 보면 공통점이 하나 보입니다. 좋은 준수율은 "정교한 산식"보다 "안정적이고 투명한 산식"이라는 점입니다. 산식이 아무리 정교해도, 위반 하나가 준수율을 통째로 휘두르거나, 표본이 작거나, 근거가 안 보이면 믿기 어렵습니다. 반대로 산식이 단순해도 안정적이고 투명하면 믿을 만합니다. 준수율은 결국 '믿고 쓰기 위한 숫자'입니다. 매달 비교하고, 보고하고, 개선 우선순위를 정하는 데 씁니다. 그러려면 출렁이지 않아야 하고, 왜 그 숫자인지 보여야 합니다.
실무에서 흔들림을 빨리 알아채는 간단한 습관이 하나 있습니다. "준수율이 크게 변했으면, 변화량부터 의심한다"는 것입니다. 어제 88%였는데 오늘 79%면, 좋아졌든 나빠졌든 "9%나 움직였다"는 사실 자체를 먼저 의심해 봅니다. 진짜로 사이트가 9% 어치 나빠졌을 수도 있습니다(대규모 개편을 했다든지). 하지만 대개는 산식 쪽 이유입니다. 미통과 한 건이 늘었는데 그게 무거운 위반이었거나, 분모가 작았거나, 해당없음 처리가 달라졌거나. 그래서 큰 변화를 보면 먼저 "무엇이 이만큼 움직였지? 위반이 몇 건 늘었지? 그게 무거운 등급이었나? 판정 가능 규칙 수는 그대로였나?"를 따져봅니다.
이 습관이 중요한 이유는, 흔들림을 '진짜 변화'로 오해하면 엉뚱한 결정을 하기 때문입니다. 산식 때문에 떨어진 숫자를 보고 "큰일났다, 뭘 망쳤나" 하며 멀쩡한 사이트를 뒤집어엎으면 손해입니다. 반대로 산식 때문에 오른 숫자를 보고 "좋아졌네" 하며 방심하면, 실제론 그대로인데 안심한 셈입니다. 준수율의 변화가 '실제 변화'인지 '산식 출렁임'인지 구분하는 것 — 이게 준수율을 제대로 쓰는 사람과 휘둘리는 사람을 가릅니다. 세 칸(통과·미통과·해당없음)과 판정 수, 그리고 미통과의 위험도 등급이 다 보이는 리포트라면 이 구분이 쉽습니다. 변화의 원인이 데이터에 다 적혀 있으니까요. 보이지 않으면, 변화를 그냥 믿거나 그냥 무시하거나 둘 중 하나가 되고, 둘 다 위험합니다.
이걸 조금 더 실용적인 점검 순서로 옮겨보겠습니다. 준수율이 크게 움직였을 때, 아래 네 가지를 차례로 확인하시면 대부분 원인이 잡힙니다. 첫째, 미통과가 몇 건이나 늘거나 줄었는가. 둘째, 그 변화한 위반들이 어느 등급이었는가(무거운 것이 섞여 있으면 진폭이 큽니다). 셋째, 판정 가능한 규칙 수(분모)가 그대로였는가, 아니면 페이지 구성이 바뀌면서 분모가 달라졌는가. 넷째, 해당없음 처리 방식이 이전과 같았는가. 이 네 질문에 답하다 보면, "9% 하락"이 실은 "무거운 위반 한 건이 새로 잡혔고, 나머지는 그대로"였다는 식으로 원인이 또렷해집니다. 원인이 또렷해지면, "무엇을 먼저 고칠까"라는 다음 행동으로 자연스럽게 넘어갈 수 있습니다. 흔들림을 두려워하는 대신 읽어내는 것 — 그게 준수율을 도구로 부리는 방법입니다.
그리고 이 네 질문에 답하려면, 결국 리포트가 그 데이터를 다 갖고 있어야 합니다. 미통과 목록만 있고 등급이 없으면 둘째 질문에 답할 수 없고, 준수율 숫자만 있고 판정 수가 없으면 셋째 질문에 답할 수 없습니다. 그래서 "좋은 리포트"의 조건은 화려한 그래프가 아니라, 이 네 질문에 답할 재료가 다 들어 있느냐입니다. 준수율이라는 최종 숫자 뒤에, 그 숫자를 되짚을 수 있는 원재료(세 칸, 판정 수, 등급별 미통과)가 함께 놓여 있어야 그 준수율이 '해석 가능한 숫자'가 됩니다.
그래서 ViewCheck는
오늘 본 네 함정을 피하려면, 점검할 때마다 여러 가지를 동시에 신경 써야 합니다. 무게를 매번 똑같이 적용하고, 분모가 작은 영역을 표시하고, 해당없음을 정확히 빼고, 근거를 다 기록하고. 이걸 사람이 매번 손으로 하면 어떻게 될까요. 무게는 점검자 컨디션 따라 흔들리고, 분모가 작은 줄 모르고 50%를 그냥 적고, 해당없음을 깜빡 빠뜨리고, 근거는 시간이 없어 생략합니다. 결국 네 함정에 다 빠집니다. 악의가 아니라 양이 많아서입니다. 한 페이지에서 846개 규칙을 보는 것도 벅찬데, 거기에 더해 산식의 균형까지 매번 챙기는 건 사람의 한계를 넘습니다.
그래서 이 부분 — 산식을 일관되고 안정적이고 투명하게 적용하는 일 — 도 자동이 맞는 자리입니다. ViewCheck는 규칙 엔진이 각 위반을 판정하고 위험도 등급을 붙이면, 그 등급에 따른 무게를 매번 똑같이 적용해 영역별·전체 준수율을 산출합니다. 분모와 판정 수를 정확히 세고, 해당없음을 빠짐없이 빼고, 미통과 목록을 위험도 등급과 함께 근거로 남깁니다. 통과·미통과·해당없음 세 칸을 따로 보여주고, "판정 몇 건 중 결과"인지를 함께 표시합니다. 그러면 사람은 출렁이지 않는 준수율 위에서 "그래서 무엇을 먼저 고칠까"에 집중할 수 있습니다.
한 가지 분명히 해둘 게 있습니다. 산식의 균형을 잡는 '설계'는 사람이 합니다. 어떤 위반을 어느 등급으로 볼지, 등급 사이 무게 차이를 어느 정도로 둘지, 어떤 근거를 따를지 — 이건 사람이 정합니다. 기계는 그 설계를 흔들림 없이 매번 적용할 뿐입니다. 설계는 사람이 신중하게, 적용은 기계가 일관되게. 지난주에 말씀드린 그 분업이 여기서도 똑같이 작동합니다. 그리고 자동화의 진짜 이점은 '빠름'보다 '같음'입니다. 오늘 잰 사이트와 내일 잰 사이트, 우리 사이트와 옆 사이트, 이번 분기와 다음 분기 — 같은 산식, 같은 무게, 같은 분모 처리로 잽니다. 이 '같음'이 있어야 비교가 의미를 갖습니다. 사실 오늘 본 흔들림의 함정 대부분은 '같지 않음'에서 옵니다. 자동화는 그 '같음'을 보장해서 비교를 가능하게 합니다. 그게 빠름보다 큰 가치입니다.

이 대목에서 담당자분들이 가장 실질적으로 얻으시는 건, "억울함이 정보로 바뀐다"는 점입니다. 준수율이 갑자기 떨어졌을 때, 예전에는 "우리가 뭘 잘못했지" 하며 막막했다면, 이제는 미통과 목록을 위험도 등급과 함께 열어보고 "아, 이 무거운 위반 하나가 새로 잡혔구나. 여기부터 보자"로 바로 넘어갈 수 있습니다. 숫자 하나에 휘둘리는 대신, 그 숫자를 뜯어보고 다음 행동을 정하는 것이죠. 준수율이 '평가받는 성적표'가 아니라 '고칠 곳을 알려주는 지도'로 바뀌는 순간입니다. ViewCheck가 준수율 옆에 늘 근거를 붙여 두는 건, 바로 이 전환을 위해서입니다.
한 가지 덧붙이면, 여기서 말하는 준수율의 흔들림을 잡는 일에는 두 엔진의 분업도 작동합니다. 규칙 엔진이 코드와 화면 구조를 읽어 pass/fail을 확정하고 위험도 등급을 붙이면, 그 확정된 판정은 시각 AI 엔진이 함부로 뒤집지 않습니다. 시각 AI 엔진은 규칙 엔진이 '해당없음'으로 비워둔 빈칸 가운데, 화면에서 확신을 가지고 감지되는 것만 채웁니다. 감지가 애매하면 억지로 채우지 않고 해당없음으로 남겨 둡니다. 이렇게 판정의 출처가 분명하니, 준수율이 움직였을 때 "이건 규칙 엔진이 판정을 바꾼 건지, 시각 보강이 들어온 건지"까지 근거로 따라옵니다. 흔들림의 원인을 데이터로 되짚을 수 있다는 것 — 이게 준수율을 '믿고 쓰는 숫자'로 만드는 마지막 조건입니다.
🔐 특허로 지키는 부분
ViewCheck가 화면의 시각 요소와 규칙을 매칭해 정량화하고, 위험도 등급에 따른 무게를 일관되게 적용해 항목별·전체 준수율을 산출하는 방식은, ViewCheck가 출원한 다섯 건의 특허 중 하나인 시각 요소 분석 주제로 다루고 있습니다. 오늘 본 네 함정을 피하는 것 — 무게 극단 회피, 분모 안정화, 해당없음 일관 처리, 근거 투명화 — 도 그 산출 절차의 일부입니다. 한 번 준수율을 내는 건 누구나 합니다. 어려운 건 "같은 무게를, 같은 분모 처리로, 흔들림 없이 매번" 적용해서 시점 간·사이트 간 비교가 성립하게 만드는 절차이고, 그 방법을 권리로 정리해 둔 것이 차별점입니다.
다만 솔직히 짚어둘 게 있습니다. 특허는 그 '방법과 절차'를 보호하는 장치이지, 준수율이 항상 정확하다는 품질 보증서가 아닙니다. 그리고 출원 중이라는 건 심사를 받고 있다는 뜻이지 등록이 완료됐다는 뜻이 아닙니다. 오히려 오늘 글의 결론처럼, 특허가 있느냐보다 "그 준수율을 검산할 수 있느냐"가 신뢰의 진짜 기준입니다. (특허 출원 기술 / 자체 개발)
마무리
오늘은 "위반 딱 1건 늘었는데 준수율이 폭락했다"는 그 억울한 장면에서 출발해, 준수율이 위반의 개수가 아니라 무게로 계산된다는 사실을 짚었습니다. 준수율은 산술평균이 아니라 가중평균입니다. 그래서 위험도 등급이 높은 무거운 위반은 준수율을 크게 흔들고, 등급이 낮은 가벼운 위반은 조금만 흔듭니다. "1건 늘었는데 9% 폭락"도, "5건 늘었는데 1% 그대로"도, 이 무게의 차이로 설명됩니다.
그리고 그 무게가 잘못 설계되면 준수율이 함정에 빠진다는 것도 봤습니다. 무게가 극단적이면 위반 1건에 폭락하고, 분모가 작으면 표본이 적어 출렁이고, 해당없음을 잘못 처리하면 페이지마다 널뛰고, 무게를 숨기면 숫자가 멀쩡해도 불신을 삽니다. 네 함정의 해법은 결국 한 곳을 가리킵니다. 무게도, 분모도, 해당없음도, 근거도 — 전부 '드러내 두면' 함정이 안 됩니다. 숨기면 함정이고 드러내면 정보입니다. 그 차이 하나입니다.
혹시 지금 어떤 준수율 숫자를 보고 계시다면, 오늘 표의 네 함정으로 한 번 점검해 보셔도 좋겠습니다. 위반 1건에 준수율이 지나치게 흔들리진 않는가(무게), 분모가 너무 작진 않은가, 해당없음이 어디로 갔는가, 그 숫자를 직접 검산할 수 있는가. 네 질문에 다 "괜찮다"가 나오면 믿을 만한 숫자이고, 하나라도 막히면 그 숫자는 한 번 더 들여다볼 필요가 있습니다. 그리고 이 네 질문은 어느 특정 도구에만 해당하는 게 아닙니다. 사람이 손으로 매긴 준수율이든, 어떤 자동 도구가 내놓은 준수율이든, 똑같이 물어볼 수 있습니다. 오늘 가져가실 건 "ViewCheck가 이렇게 한다"가 아니라, "준수율이라는 숫자는 이 네 곳에서 흔들릴 수 있으니 거기부터 확인하자"는 그 습관입니다.
지난주가 "준수율은 이렇게 계산한다"였다면, 오늘은 "단, 이렇게 하면 함정에 빠진다"였습니다. 다음엔 이 둘을 합쳐, 위험도 가중치를 실제로 어떻게 적용해 항목별·전체 준수율을 산출하는지, 그 실무 로직을 정리하겠습니다. 다음 달에는 오늘 잠깐 스친 위험도 등급(P0~P3) 자체를 본격적으로 다루면서, 그 등급이 개선 우선순위와 비용 추정으로 어떻게 이어지는지까지 풀어보겠습니다.
오늘도 끝까지 읽어주셔서 고맙습니다. 다음에 누가 "위반 하나 늘었는데 준수율이 왜 이렇게 빠졌냐"고 물으면, 한 번쯤 "그 하나가 어느 등급 위반이었나요?"라고 되물어보시면 좋겠습니다. 그 한 마디에 오늘 이야기의 절반이 담겨 있습니다. 나머지 절반은 "그 영역의 판정 가능한 규칙 수는 얼마였나요?"라는 물음에 담겨 있고요. 이 두 물음이 오늘의 요지를 한 손에 쥐게 해줍니다.
krds.viewcheck.co.kr
관련 글
위반에도 급이 있다 — 같은 '미통과'라도 심각함은 하늘과 땅 차이입니다
지난달(3개월차) 마지막 무렵에 임원 보고 이야기를 하면서, 우선순위 4분면을 잠깐 봤습니다. '영향'과 '효율' 두 축으로 "무엇부터 고칠까"를 정한다는 이야기였죠. 이번 달은 그중 '영향' 축을 본격적으로 깊이 파고듭니다. 이번 달부터 시작되는 새 챕터입니다. 지난 세 달이 "무엇을 어떻게 보는가(방법·규칙·준수율)"
임원 보고, 이렇게 구성합니다 — 섹션 구성과 우선순위 제시법
이번 주 세 번째 글이자, 3개월차의 마지막 글입니다. 이번 주 월요일엔 "준수율을 의사결정의 언어로 옮기는 일"을, 수요일엔 "분석 결과를 날것 그대로 들고 갔다가 회의가 막히는 이유"를 함께 봤습니다. 오늘은 그 둘을 실제 보고서 한 장으로 조립하는, 가장 실무적인 이야기입니다. 임원 보고를 어떤 섹션으로 짜고, 그
"실무용을 그대로 보고?" — 날것의 함정, 그리고 층으로 차리는 법
지난 월요일에 준수율을 의사결정의 언어로 옮기는 임원 보고 이야기를 드렸습니다. 오늘은 그걸 거꾸로 뒤집어 보려 합니다. 번역 없이 실무용 리포트를 그대로 임원에게 들고 갔을 때, 회의실에서 무슨 일이 벌어지는지를요. 이런 장면, 한 번쯤 보셨거나 직접 겪으셨을 겁니다. 실무자가 점검 결과를 정말 열심히 분석했습니다. 8

댓글 0
댓글을 불러오는 중…