[접근성연구·표준] 같은 사이트, 다른 진단 결과

버전·도구 차이 관찰

〈디지털 접근성 연구 072〉 — 이 글은 규정이 아니라 하나의 연구 관점입니다. 인용 수치·기준은 출처와 함께, 미확정 영역은 그렇다고 밝혀 작성합니다.

들어가며

앞 편(071)에서 우리는 WCAG·KWCAG라는 표준의 뼈대를 봤다. 4대 원칙, 적합성 등급, 한국형 표준의 관계. 표준을 이해하고 나면, 실무에서 곧바로 마주치는 한 장면이 있다. 같은 페이지를 점검했는데 결과가 다르게 나오는 일이다. A 도구는 "통과"라고 하고 B 도구는 "위반"이라고 한다. 작년에 점검했을 때와 올해 점검 결과의 항목 수가 다르다. 어느 쪽이 맞는가 — 이 물음 앞에서 많은 운영자가 당황한다.

이번 편은 그 '다른 결과'를 관찰의 시선으로 본다. 결과가 다르다는 사실이 표준이 엉터리라는 뜻은 아니다. 오히려 무엇이 다르면 결과가 달라지는지를 알면, 점검 결과를 더 정확히 읽을 수 있다. 도구의 차이, 버전의 차이, 그리고 자동 점검이 닿지 못하는 영역 — 이 세 갈래를 차례로 살핀다.

이 글은 특정 점검 도구를 평가하거나 우열을 가리지 않는다. 같은 대상에서 결과가 갈리는 현상이 왜 생기는지, 그 차이를 어떻게 받아들이면 좋을지를 일반화된 관점에서 정리한다.

1. 도구가 다르면 결과가 다르다

1-1. 자동 점검 도구는 같은 표준을 다르게 구현한다

웹 접근성 자동 점검 도구는 여럿이다. axe-core, IBM Equal Access, HTML CodeSniffer 같은 공개 도구들이 대표적이고, 이 시리즈가 다룬 점검도 이런 도구들을 바탕에 둔다. 이들은 모두 WCAG라는 같은 표준을 겨누지만, 그 표준을 코드로 옮기는 방식이 저마다 다르다. 어떤 항목을 어느 강도로 검사할지, 어떤 경우를 '위반'으로 볼지의 판단 경계가 도구마다 조금씩 다르게 설정돼 있다.

그래서 같은 페이지를 두 도구로 검사하면 위반 항목 수가 다르게 나오는 일이 흔하다. 한 도구가 잡은 것을 다른 도구는 '판단 보류'로 넘기기도 하고, 그 반대도 있다. 이것은 도구의 결함이 아니라, 표준을 자동으로 구현하는 데 따르는 자연스러운 차이다.

1-2. '판단 가능'과 '판단 불가'의 경계도 다르다

자동 점검은 기계가 코드를 읽어 판정하는 일이다. 그런데 접근성 항목 중에는 기계가 명확히 판정할 수 있는 것과, 사람의 눈으로 봐야 하는 것이 섞여 있다. 예를 들어 이미지에 대체 텍스트가 '있는지 없는지'는 기계가 본다. 그러나 그 대체 텍스트가 '내용을 제대로 설명하는지'는 사람이 봐야 한다. 도구마다 이 경계, 즉 어디까지를 자동 판정하고 어디부터를 사람에게 넘길지가 다르게 그어져 있다. 결과의 차이는 여기서도 생긴다.

점검 대상	기계가 보는 것	사람이 보는 것
대체 텍스트	있다/없다	내용을 제대로 설명하나
자막	존재 여부	말과 일치하나
읽기 순서	마크업 순서	자연스럽게 읽히나
색 정보	대비 수치	색에만 기대지 않나

(관점) 도구마다 '자동 판정'과 '사람에게 넘김'의 경계를 다르게 긋는다는 정리입니다. 도구의 결함이 아니라 표준 구현 방식의 차이입니다.

2. 버전이 다르면 기준이 다르다

2-1. 표준은 한 번 만들고 끝나지 않는다

071편에서 봤듯 WCAG는 2.0, 2.1, 2.2로 개정되어 왔다. 버전이 오르면 새로운 성공 기준이 추가된다. 2.1은 모바일·저시력·인지 관련 항목을 더했고, 2.2는 그 뒤에 또 몇 항목을 보탰다. 그래서 같은 페이지를 2.0 기준으로 점검할 때와 2.2 기준으로 점검할 때, 검사 항목의 수 자체가 다르다. 작년 결과와 올해 결과가 다른 이유 중 하나는 그사이 기준 버전이 올랐기 때문일 수 있다.

이것은 사이트가 나빠진 것도, 점검이 틀린 것도 아니다. 측정의 잣대가 더 촘촘해진 것이다. 새 항목이 추가되면, 전에는 검사하지 않던 부분이 새로 검사 대상이 되어 위반으로 잡힐 수 있다.

2-2. 같은 점수를 비교할 때의 조심스러움

그래서 '점수'를 시점 간에 단순 비교할 때는 조심이 필요하다. 작년 85점, 올해 80점이라는 숫자만 보면 후퇴한 것 같지만, 그사이 기준 버전이 오르고 검사 페이지 범위가 넓어졌다면 같은 잣대의 비교가 아니다. 점수를 읽을 때는 늘 '어느 버전으로, 어느 범위를, 어느 도구로' 쟀는지를 함께 봐야 한다. 071편이 "단일 퍼센트 하나로 단정하기 조심스럽다"고 말한 이유가 여기 있다.

버전	더해진 영역	결과에 주는 영향
2.0	기본 성공 기준	기준선
2.1	모바일·저시력·인지	새 항목이 위반으로 잡힐 수 있음
2.2	추가 보완 항목	검사 대상 더 촘촘

(한계) 점수의 시점 간 비교는 '같은 버전·범위·도구'일 때만 의미가 있습니다. 잣대가 촘촘해진 것을 후퇴로 오독하지 않도록 주의가 필요합니다.

3. 자동 점검이 닿지 못하는 곳

3-1. 기계가 못 보는 항목

이 시리즈가 거듭 강조한 한 가지가 있다. 점검에는 자동으로 판정할 수 있는 영역과, 사람이 봐야 하는 영역이 있다는 것이다. 대체 텍스트의 적절성, 자막 내용의 정확성, 읽기 순서의 자연스러움, 색에만 의존하지 않는 정보 전달 — 이런 항목은 기계가 '있다/없다'까지는 보지만 '제대로인가'는 판정하지 못한다. 자동 점검 결과가 "위반 0건"이어도, 그것이 곧 "접근성 완벽"을 뜻하지는 않는 이유다.

이 시리즈가 점검 편마다 "자동 점검은 출발점이고, 당사자의 시선이 그것을 완성한다"고 말한 관점이 여기서 다시 만난다. 도구는 빠르고 일관되게 많은 항목을 훑지만, 사람만 볼 수 있는 영역이 분명히 남는다.

3-2. 그래서 결과를 어떻게 읽나

결과가 도구마다, 버전마다 다르다면 무엇을 믿어야 하나. 관점은 이렇다. 자동 점검 결과는 '확실한 문제의 목록'으로 받되, '문제 없음의 증명'으로 받지는 않는다. 여러 도구가 공통으로 잡은 항목은 우선 신뢰도 높은 문제로 보고, 도구 간 엇갈리는 항목은 사람이 직접 확인한다. 그리고 자동 점검이 통과시킨 영역 중 '사람이 봐야 하는 항목'은 별도로 점검한다. 결과의 차이는 혼란이 아니라, 어디를 더 봐야 하는지를 알려 주는 신호로 읽을 수 있다.

결과 유형	어떻게 받나	다음 행동
여러 도구 공통 위반	신뢰도 높은 문제	우선 수정
도구 간 엇갈림	판단 보류	사람이 직접 확인
자동 '통과'	증명 아님	사람 항목 별도 점검

(관점) 자동 점검 결과는 '확실한 문제 목록'으로 받되 '문제 없음의 증명'으로 받지 않는다는 정리입니다. 차이는 혼란이 아니라 더 봐야 할 곳의 신호입니다.

4. 차이를 다루는 태도

4-1. 조건을 고정하고 본다

결과를 의미 있게 비교하려면 조건을 고정하는 것이 우선이다. 같은 도구, 같은 기준 버전, 같은 페이지 범위로 정기적으로 점검하면, 시점 간 변화가 사이트의 실제 변화를 반영하게 된다. 조건이 흔들리면 변화의 원인이 사이트인지 잣대인지 분간하기 어렵다. 이 시리즈가 점검에서 거듭 강조한 '구체적으로 기록한다'는 원칙은, 여기서 '점검 조건을 함께 기록한다'로 확장된다.

4-2. 다음 편으로 — 우리의 기준을 정한다

결과가 도구·버전에 따라 달라진다면, 한 가지 실무적 물음이 남는다. 그렇다면 우리 사이트는 어느 기준으로 점검되어야 하는가. 어떤 표준, 어떤 버전, 어떤 등급을 목표로 잡을 것인가. 다음 편에서는 이 '적용 기준'을 스스로 확인하는 점검의 관점을 정리한다.

고정할 조건	흔들리면	고정하면
점검 도구	위반 수가 달라짐	시점 비교 가능
기준 버전	항목 수가 달라짐	변화 원인 분간
페이지 범위	검사 대상이 달라짐	실제 변화 반영

(관점) 조건을 고정해야 시점 간 변화가 사이트의 실제 변화를 반영한다는 정리입니다. 점검 조건을 결과와 함께 기록하는 습관이 권장됩니다.

한 장 요약

차이의 원인	무엇이 다른가	어떻게 읽나
도구 차이	표준을 구현한 방식·판정 경계	공통 항목 우선, 엇갈리면 사람이 확인
버전 차이	검사 항목 수(2.0→2.2)	'어느 버전으로 쟀나' 함께 본다
자동의 한계	기계가 못 보는 항목	'위반 0' ≠ '완벽', 사람 점검 병행
비교의 조건	도구·버전·범위	조건 고정 후 시점 비교

※ 위 표는 연구 관점의 요약입니다. 도구·버전별 결과 차이는 점검 환경에 따라 다르며, 본문은 관찰의 정리입니다.

맺으며

같은 사이트인데 다른 진단 결과가 나오는 일은, 표준이 흔들려서가 아니라 측정의 조건이 다르기 때문이다. 도구가 표준을 다르게 구현하고, 버전이 검사 항목을 더하고, 자동 점검이 사람의 영역을 비워 둔다. 이 세 가지를 알면, 엇갈리는 결과는 더 이상 혼란이 아니라 어디를 더 봐야 하는지를 가리키는 지도가 된다.

읽기의 태도는 단순하다. 자동 점검은 '확실한 문제 목록'으로 받고, '문제 없음의 증명'으로는 받지 않는다. 조건을 고정해 시점 간 변화를 보고, 도구가 못 보는 영역은 사람이 채운다. 다음 편에서는 그 한 걸음 더 — 우리 사이트가 어느 기준으로 점검되어야 하는지를 스스로 확인하는 관점을 정리한다.

다음 편 예고 (073): 〈우리는 어느 기준으로 점검하나〉 — 적용 기준 점검 관점. 우리 사이트가 어떤 표준·버전·등급을 기준으로 점검되어야 하는지를 스스로 확인하는 방법을 정리한다.

참고한 공개 자료(출처):

W3C, 「WCAG 2.1 / 2.2」 및 「ACT Rules(Accessibility Conformance Testing)」 개요
한국지능정보사회진흥원(NIA), 「KWCAG 2.2」 및 자동 점검 도구 관련 안내
axe-core·IBM Equal Access·HTML CodeSniffer 등 공개 점검 도구 문서
이 시리즈 앞선 연구 편(점검 관점)의 정리

※ 위 자료의 항목·버전은 개정에 따라 달라질 수 있으며, 본문의 관찰은 일반화된 연구 관점의 재구성입니다. 정확한 적용 기준은 각 출처의 원문 확인이 안전합니다.