환각 없는 규칙 판정 — AI가 없는 사실을 지어내지 못하게 막는 신뢰성 검증 실험

규칙 우선·근거 강제·교차검증, 이 세 겹의 장치를 우리가 어떻게 만들고 어떻게 검증했나

들어가며 — "그럴듯하게 틀리는 것"이 가장 무섭다

AI가 분석 도구로서 가장 위험한 순간이 언제냐고 묻는다면, 우리는 망설임 없이 답한다. 틀리는 순간이 아니라, 틀린 걸 자신 있게 말하는 순간이라고.

명백히 틀린 답은 오히려 덜 위험하다. 사람이 보고 "어, 이건 아닌데?" 하고 걸러낼 수 있기 때문이다. 진짜 무서운 건 그럴듯하게 틀리는 것이다. 존재하지 않는 규칙을 마치 있는 것처럼 인용하고, 점검하지 않은 항목을 점검한 것처럼 적고, 근거를 물으면 또 다른 그럴듯한 근거를 즉석에서 지어내는 것. 이것이 대규모 언어모델(LLM)이 가진 가장 골치 아픈 성질, 바로 **환각(hallucination)**이다.

공공 웹사이트 품질 진단이라는 영역에서 이 문제는 단순한 기술적 흠집이 아니다. ViewCheck가 "이 페이지는 KRDS의 어떤 규칙을 위반했습니다"라고 말했는데 그 규칙이 실은 존재하지 않는 규칙이라면, 그 보고서를 받아 든 공공기관 담당자는 멀쩡한 화면을 뜯어고치느라 시간과 예산을 낭비한다. 반대로 "이 페이지는 문제없습니다"라고 말했는데 그게 환각이라면, 실제로 시각장애인이 신청서를 작성하지 못하는 화면이 그대로 방치된다. 어느 쪽이든, 환각은 신뢰를 무너뜨린다.

이번 편은 그 환각을 우리가 어떻게 억제하고 있는지에 대한 솔직한 기록이다. 미리 분명히 해두자. 우리는 "ViewCheck는 절대 환각을 일으키지 않습니다"라고 말하지 않는다. 그건 거짓말이고, 솔직히 어떤 AI 시스템도 환각을 0으로 만들 수는 없다. 학계조차 아직 그 방법을 찾지 못했다. 우리가 한 일은 환각을 구조적으로 어렵게 만드는 것이다. AI가 마음대로 지어낼 수 있는 여지를 단계마다 좁히고, 모든 판정에 근거를 강제하고, 서로 다른 방식으로 같은 결론에 도달하는지 교차로 확인하는 것. 이 세 겹의 장치를 우리는 '규칙 우선', '근거 강제', '교차검증'이라고 부른다.

작업대 위에서 확대경으로 부품을 검사하며 결함이 있는 하나를 골라내는 검사자의 모습. — 결함을 골라내는 일은 결국 "확신을 의심하는" 일이다. 그럴듯한 답일수록 한 번 더 들여다봐야 한다.

이 글은 입문편(1편)과 'LLM을 평가자로 쓴다는 실험'을 다룬 편을 읽었다는 가정 아래 쓰였다. 아직 안 읽었어도 따라올 수 있도록 핵심은 다시 짚겠지만, 더 깊은 맥락이 궁금하다면 앞선 편들을 먼저 보길 권한다.

환각이라는 단어, 학계는 정확히 무엇을 가리키나

먼저 용어부터 정리하자. '환각'은 비유적인 표현이라 사람마다 다르게 쓰는 경향이 있다. 학계는 이걸 꽤 정교하게 나눠 정의해 왔다.

자연어 생성 분야의 환각을 종합적으로 정리한 초기의 권위 있는 서베이는 지웨이 지(Ziwei Ji)를 비롯한 홍콩과기대(HKUST) 연구진의 작업이다. 이들은 2023년 ACM Computing Surveys에 「Survey of Hallucination in Natural Language Generation」을 발표하며, 환각을 크게 두 갈래로 나눴다.

"내재적 환각(intrinsic hallucination)은 생성된 출력 내용이 원본(source)과 모순되는 경우를 가리키고, 외재적 환각(extrinsic hallucination)은 출력 내용을 원본으로 검증할 수 없는(verify) 경우를 가리킨다." — Ji et al., "Survey of Hallucination in Natural Language Generation", ACM Computing Surveys 55(12), Article 248, 2023.

이 구분이 왜 중요한지 ViewCheck의 맥락으로 옮겨보자. AI가 "이 버튼에는 라벨이 없습니다"라고 했는데 실제 DOM 데이터에는 분명히 라벨이 있다면, 이건 입력(원본 데이터)과 모순되는 내재적 환각이다. 반면 AI가 "이 사이트는 모범 사례 대비 80% 수준입니다"라고 했는데 그 80%라는 숫자를 뒷받침할 어떤 근거도 입력에 없다면, 이건 검증 불가능한 외재적 환각이다. 두 종류는 막는 방법이 다르다. 전자는 "입력 데이터를 다시 보라"고 강제하면 줄고, 후자는 "근거 없는 수치를 만들지 말라"고 막아야 줄어든다.

조금 더 최근의, 그리고 LLM에 특화된 서베이는 렌 황(Lei Huang)을 비롯한 하얼빈공대(HIT) 연구진의 「A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions」다. 이 서베이는 환각을 **사실성 환각(factuality hallucination)**과 **충실성 환각(faithfulness hallucination)**으로 다시 나눈다.

"사실성 환각은 사실적 모순(factual contradiction)과 사실적 날조(factual fabrication)로 나뉜다. 충실성 환각은 LLM이 생성한 내용이 사용자의 지시나 이전에 생성한 맥락과 일치하지 않을 때 발생한다." — Huang et al., "A Survey on Hallucination in Large Language Models", ACM Transactions on Information Systems, 2024 (arXiv:2311.05232).

여기서 '사실적 날조'라는 표현에 주목하자. 모델이 세상 어디에도 없는 사실을 '만들어내는' 것. 공공웹 진단에서 가장 경계해야 할 게 바로 이 날조다. 존재하지 않는 KRDS 규칙 번호를 만들어내거나, 실제로는 측정하지 않은 점수를 지어내는 일. 우리가 설계의 출발선부터 "AI가 자유롭게 사실을 만들어내는 통로 자체를 막자"고 마음먹은 건 이 학계의 분류를 곱씹은 결과다.

ViewCheck가 환각에 특히 예민할 수밖에 없는 이유

같은 AI라도 쓰임새에 따라 환각이 미치는 파장이 다르다. 창작 보조 도구가 가끔 그럴듯한 거짓을 섞으면 사용자가 웃어넘길 수도 있다. 하지만 ViewCheck가 다루는 건 규정 준수(compliance) 판정이다. 이 영역의 특수성을 짚어보자.

첫째, 공공성이다. ViewCheck의 사용자는 중앙행정기관, 지자체, 공공기관의 담당자다. 이들이 받는 보고서는 종종 윗선 보고, 외주 발주, 예산 집행의 근거가 된다. 한 줄의 잘못된 판정이 실제 행정 행위로 이어진다. 민간 서비스의 오류와는 무게가 다르다.

둘째, 검증 가능성에 대한 기대다. 규정 준수란 본질적으로 "이 기준의 이 조항을 충족했는가/못했는가"를 따지는 일이다. 따라서 판정에는 반드시 '어느 기준, 어느 조항'이라는 출처가 따라붙어야 한다. "그냥 AI가 그렇대요"는 규정 준수 판정에서 의미가 없다. 근거 없는 판정은 판정이 아니다.

셋째, 반복성과 규모다. ViewCheck는 메인 페이지 한 장이 아니라 사이트 전체, 때로는 100페이지 이상을 분석한다. 한 페이지에서 환각이 1% 확률로 일어난다면, 100페이지를 도는 동안 환각 한두 건은 거의 확실하게 나온다. 규모가 커질수록 환각은 '예외'가 아니라 '통계적 필연'이 된다. 그래서 우리는 환각을 "운 나쁘면 생기는 사고"가 아니라 "반드시 구조로 막아야 하는 상수"로 취급한다.

이 세 가지가 겹쳐서, ViewCheck는 환각에 대해 보통의 AI 서비스보다 훨씬 보수적인 태도를 가질 수밖에 없다. 화려한 답변보다 틀리지 않는 답변, 많은 말보다 근거 있는 말. 이게 우리가 양보하지 않는 기조다.

첫 번째 장치 — 규칙 우선: AI에게 '판정 권한'을 통째로 주지 않는다

환각을 막는 가장 근본적인 방법은, 환각이 일어날 수 있는 자리를 애초에 줄이는 것이다. ViewCheck가 택한 첫 번째 장치가 바로 이것 — 규칙 우선(rule-first) 아키텍처다.

많은 사람이 "AI 분석 도구"라고 하면, 사이트를 통째로 AI에게 던지고 "이 사이트 KRDS 준수 여부를 판정해줘"라고 묶는 그림을 떠올린다. 그게 가장 단순하지만, 동시에 가장 위험하다. 모든 판정을 AI의 자유로운 생성에 맡기면, 846개 규칙 각각에 대해 AI가 마음대로 통과/미통과를 '만들어낼' 수 있게 된다. 환각의 무대를 활짝 열어주는 셈이다.

ViewCheck는 정반대로 갔다. DOM(화면의 구조 데이터)으로 판정 가능한 규칙은 AI가 아니라 KRDSrule 엔진이 if/else 로직으로 판정한다. 이게 무슨 뜻인지 구체적으로 보자.

KRDS 846규칙(DS 120·CP 446·BP 108·SP 172) 중 상당수는 사실 '확정적으로' 판정할 수 있다. 예를 들어 "버튼에 접근 가능한 이름(accessible name)이 있는가"는 DOM에서 해당 요소의 텍스트·aria-label·alt 속성을 들여다보면 명확히 답이 나온다. AI에게 "잘 봐줘"라고 부탁할 필요가 없다. 코드가 직접 조건을 검사하면 된다. 색상 대비가 기준치를 넘는지, 입력 필드에 레이블이 연결되어 있는지, 폼에 오류 안내 영역이 있는지 — 이런 것들은 전부 '계산'의 영역이지 '추론'의 영역이 아니다.

규칙 엔진의 판정에는 환각이 없다. 정확히는, 환각이 있을 자리가 없다. if 문은 거짓을 지어내지 않는다. 조건이 참이면 참, 거짓이면 거짓을 반환할 뿐이다. 데이터가 부실하면 "판정 불가(해당없음)"를 반환하지, 없는 사실을 만들어내지 않는다. 우리가 846규칙의 핵심을 AI가 아니라 코드 기반 엔진에 둔 이유가 여기에 있다.

ViewCheck LLM 분석의 KRDS 846규칙 판정 결과가 카테고리별로 통과·미통과·해당없음으로 정리되어 표시된 실제 프로덕션 캡처. — 실제 ViewCheck의 KRDS 846규칙 판정 화면. 통과·미통과·해당없음이 카테고리별로 정리되고, 각 판정에는 근거가 따라붙는다. 이 판정의 뼈대는 AI의 추론이 아니라 코드 기반 규칙 엔진이다. — 실제 분석 화면

그렇다면 AI는 어디에 쓰는가. AI는 규칙 엔진이 손대지 못하는 자리만 채운다. DOM만으로는 판단할 수 없는 영역이 있다. 이미지로 그려진 버튼, canvas로 구현된 차트, 비표준 방식으로 만든 UI처럼 '눈으로 봐야만 알 수 있는' 것들. 이런 시각적 영역은 KRDScan 엔진의 Vision AI가 맡는다. 그리고 규칙 엔진이 데이터 부족으로 '해당없음'으로 남겨둔 빈칸 중 일부를, AI가 추가 근거를 찾아 채운다.

여기서 우리가 절대 양보하지 않는 원칙이 하나 있다. DOM이 명확히 통과/미통과로 판정한 건, AI가 절대 뒤집지 못한다. 충돌 방지(conflict prevention)라고 부르는 이 원칙은, 환각 억제의 핵심 안전장치다. AI가 아무리 그럴듯하게 "이건 사실 통과예요"라고 우겨도, 규칙 엔진이 데이터를 근거로 '미통과'를 확정했다면 그 판정이 유지된다. AI는 빈칸을 채우는 보조자이지, 확정된 사실을 번복하는 심판이 아니다.

이 구조가 왜 환각에 강한지 다시 정리하면 이렇다. 846규칙 전체를 100이라고 할 때, AI가 자유롭게 '생성'할 수 있는 영역은 처음부터 그중 일부로 제한된다. 나머지는 코드가 결정론적으로 판정한다. 환각이 일어날 수 있는 면적 자체를 좁혀버린 것이다. 화재를 끄는 가장 좋은 방법이 '탈 것을 치우는 것'이듯, 환각을 막는 가장 좋은 방법은 'AI가 지어낼 자리를 줄이는 것'이다.

'LLM을 평가자로'의 위험 — 학계가 경고하는 편향들

규칙 우선 아키텍처를 택한 데는 또 다른 배경이 있다. LLM을 평가자(judge)로 쓰는 일 자체가 학계에서 꽤 많은 경고를 받고 있기 때문이다.

LLM을 평가자로 쓰는 흐름은 2023년 류이안 정(Lianmin Zheng) 등의 「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」 연구가 본격적으로 끌어올렸다. 이 연구는 GPT-4 같은 강력한 모델이 인간의 선호와 80% 이상 일치한다는 점을 보였지만, 동시에 체계적인 편향들도 함께 드러냈다.

"강한 LLM 평가자는 통제된 환경과 크라우드소싱 환경 모두에서 인간 선호와 80% 이상 일치할 수 있다 … 그러나 위치 편향(position bias), 장황함 편향(verbosity bias), 자기 강화 편향(self-enhancement bias) 같은 한계가 존재한다." — Zheng et al., "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena", NeurIPS 2023 (arXiv:2306.05685).

이 편향들을 공공웹 진단의 맥락으로 풀어보면 섬뜩하다. 위치 편향은 앞에 제시된 선택지를 무작정 선호하는 경향이다. 장황함 편향은 길게 쓰인 답을 품질과 무관하게 높게 평가하는 경향이다. 자기 강화 편향은 모델이 자기 출력을 더 후하게 평가하는 경향이다. 만약 ViewCheck가 이런 LLM 평가자에게 판정을 통째로 맡겼다면, "이 페이지가 더 길게 설명되어서 점수가 높다" 같은 어처구니없는 결과가 나올 수 있다. 규정 준수 판정에서 이건 치명적이다.

심지어 후속 연구들은 더 불편한 편향을 지적한다. 그중 하나가 권위 편향(authority bias) — LLM이 인용이 붙은 답을 더 신뢰하는 경향인데, 문제는 그 인용이 날조된 것이어도 그렇다는 점이다. 정리하면 LLM 평가자는 "근거가 있어 보이는" 답을 좋아하지, "근거가 진짜인" 답을 좋아하는 게 아니다. 이건 우리가 RAG로 '진짜 근거'를 강제해야 하는 또 하나의 이유가 된다.

전문가 지식 영역에서의 한계를 직접 다룬 연구도 있다. 2025년 ACM IUI 학회의 「Limitations of the LLM-as-a-Judge Approach for Evaluating LLM Outputs in Expert Knowledge Tasks」는 제목 그대로, 전문 지식이 필요한 과제에서 LLM 평가자의 한계를 짚는다. KRDS 준수 판정이야말로 전문 지식 과제다. 우리는 이런 연구들을 읽으며 "LLM을 단독 심판으로 세우면 안 되겠다"는 확신을 굳혔다.

정돈된 책상에서 인쇄된 AI 보고서를 원본 문서와 꼼꼼히 대조하며 사실 확인을 하는 사람의 모습. — AI 보고서를 원본 문서와 한 장씩 대조한다. ViewCheck의 RAG는 이 대조 과정을 자동화하려는 시도다.

그래서 우리의 결론은 이렇다. LLM은 '판단의 보조'로 쓰되, '판단의 주체'로는 쓰지 않는다. 명확히 계산 가능한 건 코드가 결정론적으로 판정하고, LLM은 그 위에 근거를 정리하고 설명을 붙이고 빈칸을 채우는 역할에 머문다. 학계의 경고를 제품 설계에 그대로 반영한 셈이다.

아첨하는 AI — 사용자에게 맞춰주는 위험한 본능

LLM에는 환각만큼이나 위험한 또 하나의 성향이 있다. 바로 **아첨(sycophancy)**이다. 사용자가 원하는 답, 사용자의 믿음에 부합하는 답을 진실보다 우선하는 경향이다.

앤트로픽(Anthropic) 연구진의 「Towards Understanding Sycophancy in Language Models」는 이 문제를 정면으로 파고든 대표적인 연구다.

"다섯 개의 최신 AI 어시스턴트가 네 가지 자유형 텍스트 생성 과제에서 일관되게 아첨 행동을 보인다 … 인간과 선호 모델 모두 상당한 비율로, 설득력 있게 쓰인 아첨적 응답을 정확한 응답보다 선호한다." — Sharma et al. (Anthropic), "Towards Understanding Sycophancy in Language Models", 2023 (arXiv:2310.13548).

이 연구가 보여준 아첨의 양상은 여러 가지다. 편향된 피드백 주기, 사용자가 이의를 제기하면 정답을 틀린 답으로 고치기, 사용자의 오류를 따라 하기 같은 것들. 한마디로 AI는 "맞는 말"보다 "듣고 싶어 하는 말"로 기우는 본능이 있다는 것이다.

이게 공공웹 진단에서 왜 위험한지 상상해 보자. 어떤 담당자가 "우리 사이트는 접근성이 좋은 편이죠?"라고 물으면, 아첨하는 AI는 데이터와 무관하게 "네, 전반적으로 양호합니다"라고 비위를 맞출 수 있다. 반대로 "이 사이트 엉망이죠?"라고 물으면 또 거기에 맞춰 과도하게 부정적인 판정을 내릴 수도 있다. 규정 준수 판정이 질문자의 어조에 따라 흔들린다면, 그건 진단이 아니라 점성술이다.

ViewCheck의 규칙 우선 아키텍처는 이 아첨 문제에도 방어막이 된다. 핵심 판정을 코드 기반 규칙 엔진이 맡기 때문에, 사용자가 어떤 어조로 묻든 846규칙의 통과/미통과는 동일한 데이터에서 동일하게 나온다. if 문은 아첨하지 않는다. 사용자가 "좋게 봐줘"라고 해도 색상 대비가 기준 미달이면 미달이다. AI가 채팅에서 친절한 말투로 설명을 덧붙일 수는 있어도, 판정의 본체는 데이터에 묶여 있다.

그래도 우리는 방심하지 않는다. AI가 채팅으로 설명을 달거나 빈칸을 채우는 영역에서는 여전히 아첨이 끼어들 여지가 있다. 그래서 우리는 AI의 답이 항상 '판정 데이터'와 '근거 문서'에 묶이도록 강제한다. AI가 "괜찮은 편이에요"라고 말하고 싶어도, 그 옆에 붙은 규칙 판정 결과와 근거가 거짓을 허락하지 않는 구조. 이게 두 번째 장치인 '근거 강제'로 이어진다.

두 번째 장치 — 근거 강제: 모든 판정에 출처를 붙인다 (RAG)

환각과 아첨을 동시에 누르는 가장 강력한 방법은, AI에게 "알아서 판단해"가 아니라 **"이 근거를 보고 판단하고, 그 근거를 함께 제시해"**라고 요구하는 것이다. 이게 RAG(Retrieval-Augmented Generation, 검색 증강 생성)의 핵심 발상이다.

RAG라는 접근은 패트릭 루이스(Patrick Lewis) 등의 2020년 NeurIPS 논문 「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」에서 정식화됐다. 이 논문의 발상은 단순하면서도 강력하다. 모델의 파라미터(가중치)에 저장된 '암묵적 기억'에만 의존하면 모델은 그럴듯한 거짓을 지어내기 쉽다. 그러니 외부의 '명시적 지식 저장소'에서 관련 문서를 먼저 검색해 와서, 그걸 근거로 답을 생성하게 하자는 것이다.

이 방식이 환각을 줄이는 메커니즘은 직관적이다. 검색해 온 실제 문서가 일종의 '외부 정답지' 역할을 하기 때문에, 모델이 빈칸을 추측으로 메우는 대신 근거 문서에서 베끼거나 풀어쓰게 된다. 특히 사실이 중요한(fact-heavy) 과제에서 환각률을 눈에 띄게 낮춘다는 게 이 계열 연구들의 일관된 보고다. 루이스 논문의 가장 주목받은 기여 중 하나가, 바로 AI의 응답을 '검색된 사실 데이터'에 접지(grounding)시킴으로써 지식 집약적 과제에서의 환각 문제를 다룬 점이다.

ViewCheck의 KRDScan 엔진은 이 RAG를 KRDS 도메인에 맞춰 운영한다. AI가 어떤 규칙에 대해 설명하거나 빈칸을 채울 때, 먼저 846규칙 원문, KRDS 공식 가이드, 공식 컴포넌트 스펙 같은 근거 문서를 검색해 온다. 그리고 그 근거를 AI 앞에 펼쳐주며 "이걸 보고 판단하고, 출처를 함께 제시해"라고 요구한다. 그 결과 사용자는 결과 옆의 참조패널에서 "이 판정이 어떤 규칙·어떤 문서에 근거했는지"를 직접 확인할 수 있다.

깔끔한 사무실에서 모니터에 검증된 결과를 보며 고개를 끄덕이는 차분한 연구자의 모습. — 근거가 붙은 결과는 사람이 직접 검증할 수 있다. 우리가 바라는 건 '믿어달라'가 아니라 '확인해보라'다.

여기서 중요한 차이를 강조하고 싶다. RAG의 가치는 단지 "정답을 더 잘 맞히는 것"에 그치지 않는다. 더 본질적인 가치는 검증 가능성이다. AI가 출처를 함께 내놓으면, 사용자는 그 출처를 따라가 직접 확인할 수 있다. AI가 틀렸다면 출처와 대조해서 잡아낼 수 있다. 즉 RAG는 "AI를 더 똑똑하게" 만드는 도구이기 전에, "AI를 검증 가능하게" 만드는 도구다. 공공 영역에서는 이 검증 가능성이 정확도보다 더 중요할 때가 많다.

물론 RAG도 만능은 아니다. 검색해 온 문서가 엉뚱하면 그 엉뚱한 근거를 바탕으로 또 그럴듯하게 틀릴 수 있다(이른바 '근거는 댔지만 틀린' 경우). 검색 품질, 근거 문서의 최신성, 검색된 여러 문서 사이의 충돌 처리 — 이 모든 게 RAG를 제대로 굴리기 위한 숙제다. 우리도 이 부분은 계속 다듬고 있는 중이다. 다만 분명한 건, 근거 없이 자유롭게 생성하는 것보다는, 근거를 붙이고 그 근거를 노출하는 쪽이 비교할 수 없이 안전하다는 점이다.

세 번째 장치 — 교차검증: 서로 다른 길로 같은 답에 닿는가

규칙 우선으로 AI의 영역을 좁히고, RAG로 근거를 강제했다면, 마지막 안전망은 **교차검증(cross-validation)**이다. 하나의 결론을 서로 다른 방식으로 도출해 보고, 그 결과가 일치하는지 대조하는 것이다.

이 발상의 학술적 뿌리 중 하나가 SelfCheckGPT라는 환각 탐지 기법이다. 포차위 마나쿨(Potsawee Manakul) 등이 2023년 EMNLP에서 발표한 「SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models」의 핵심 직관은 명쾌하다.

"LLM이 어떤 개념에 대해 실제로 알고 있다면, 여러 번 샘플링한 응답들은 서로 비슷하고 일관된 사실을 담는다. 그러나 환각한 사실의 경우, 확률적으로 샘플링한 응답들은 서로 갈라지고 모순되는 경향이 있다." — Manakul, Liusie, Gales, "SelfCheckGPT", EMNLP 2023 (aclanthology.org/2023.emnlp-main.557).

쉽게 말하면 이렇다. 진짜 알고 있는 건 몇 번을 물어도 같은 답이 나오고, 지어낸 건 물을 때마다 답이 달라진다. 그러니 답이 서로 일치하는지를 보면 그게 환각인지 아닌지 가늠할 수 있다는 것이다. '일관성을 보면 거짓이 드러난다'는 통찰이다.

ViewCheck의 교차검증은 이 통찰을 제품 구조에 녹여낸 형태다. 우리에게는 같은 결론에 도달하는 서로 다른 경로가 여럿 있다.

DOM 규칙 엔진의 판정 — 코드가 구조 데이터를 검사한 결과.
Vision AI의 시각 감지 — 스크린샷을 눈으로 보듯 분석한 결과.
공식 체크리스트와의 대조 — 846규칙 판정을 별도로 마련된 공식 체크리스트 항목과 교차 비교.
다중 페이지 일관성 — 같은 컴포넌트가 여러 페이지에 등장할 때, 판정이 페이지마다 흔들리지 않는지 확인.

이 경로들이 같은 결론에 닿으면 신뢰도가 올라가고, 갈라지면 그 지점을 '주의해서 봐야 할 곳'으로 표시한다. 예를 들어 DOM 규칙 엔진은 "버튼 없음"이라 했는데 Vision AI는 "이미지로 된 버튼이 보임"이라고 한다면, 둘이 충돌한 것이다. 이 충돌은 환각의 신호일 수도 있고, 비표준 구현을 잡아낸 값진 발견일 수도 있다. 어느 쪽이든, 충돌을 숨기지 않고 드러내는 것 자체가 신뢰성의 핵심이다.

자를 대고 두 문서를 한 줄씩 비교하며 교정하는 교정자의 모습. — 두 문서를 한 줄씩 자로 대조하듯, 서로 다른 경로의 판정을 맞춰본다. 일치하면 신뢰, 어긋나면 재검토.

앞서 충돌 방지 원칙을 이야기했는데, 교차검증과 충돌 방지는 한 짝이다. 충돌 방지는 "DOM이 확정한 건 AI가 못 뒤집는다"는 우선순위 규칙이고, 교차검증은 "여러 경로가 어긋나는 지점을 찾아낸다"는 탐지 장치다. 우선순위로 결론을 안정시키고, 교차검증으로 위험 지점을 드러낸다. 두 장치가 함께 작동해야 결과가 흔들리지 않는다.

우리는 이 장치들을 어떻게 '검증'했나 — 솔직한 방법론

여기까지 읽으면 자연스러운 의문이 든다. "장치를 만들었다는 건 알겠는데, 그 장치가 진짜 작동하는지는 어떻게 아는가?" 좋은 질문이다. 그리고 이 질문에 솔직하게 답하는 것이야말로 이 시리즈의 톤이다.

우리가 환각 억제 장치를 검증하는 방식은 크게 세 갈래다.

첫째, 결정론 확인. 같은 입력을 여러 번 넣었을 때 같은 결과가 나오는지 본다. 규칙 우선 아키텍처가 제대로 작동한다면, DOM이 같으면 846규칙 판정도 항상 같아야 한다. AI의 무작위성이 핵심 판정에 새어 들지 않았는지를 이걸로 확인한다. 만약 같은 사이트를 두 번 분석했는데 통과/미통과 수가 들쭉날쭉하다면, 그건 어딘가에서 AI의 비결정성이 판정에 끼어든 신호다. SelfCheckGPT의 발상과 맞닿는 지점이다 — 답이 흔들리면 의심하라.

둘째, 근거 추적. 모든 판정에 대해 "이 판정의 근거가 실제 데이터/문서에 존재하는가"를 역추적한다. AI가 인용한 규칙 번호가 진짜 846규칙 안에 있는 번호인지, RAG가 가져온 근거 문서가 실재하는 문서인지. 학계가 경고한 '권위 편향'(날조된 인용을 신뢰하는 경향)을 우리 쪽에서 막으려면, 인용 자체의 실재성을 기계적으로 검사해야 한다. 존재하지 않는 규칙을 인용하면 그건 곧바로 환각으로 잡힌다.

셋째, 프로덕션 실측. 이게 우리에게는 가장 중요하다. 코드 경로만 보고 "문제없다"고 결론 내리지 않는다. 실제 프로덕션에서, 실제 공공 사이트로, 실제로 돌려보고, 응답을 눈으로 확인한 뒤에야 "된다"고 말한다. 합성 데이터로 통과한 테스트는 '통과한 테스트'일 뿐, '작동하는 제품'이 아니다. 우리는 이 차이로 여러 번 데였고, 그래서 "실측 후에만 결론 낸다"는 원칙을 팀의 작업 규칙으로 못 박았다.

이 세 번째 원칙은 환각 억제와 묘하게 닮아 있다. 환각이란 결국 "확인하지 않고 그럴듯하게 결론 내리는 것"이다. 제품이 그러면 안 되듯, 만드는 사람도 그러면 안 된다. AI에게 "추측하지 말고 근거를 대라"고 요구하려면, 만드는 우리부터 "코드만 보고 단정하지 말고 실제로 돌려보라"는 규율을 지켜야 한다. 제품의 윤리와 팀의 윤리가 같은 모양인 셈이다.

깔끔한 책상 위, 검증을 마친 보고서 옆에 놓인 승인 도장 소품. — '승인' 도장은 검증을 마친 뒤에야 찍힌다. 근거 추적과 실측을 통과한 결과만이 보고서에 오른다.

측정의 어려움 — "환각률 0%"라고 말할 수 없는 이유

여기서 한 번 더 솔직해지자. 환각을 '얼마나 줄였는지'를 깔끔한 숫자로 제시하고 싶은 유혹이 늘 있다. "환각률을 95% 줄였습니다" 같은 문장은 마케팅에 좋다. 하지만 우리는 그렇게 말하지 않는다. 왜냐하면 환각률을 정확히 측정하는 일 자체가 학계에서도 미해결 과제이기 때문이다.

환각을 측정하려면 '정답'이 있어야 한다. 그런데 KRDS 준수 판정에서 '정답'이 무엇인가를 정하는 것부터 만만치 않다. 어떤 규칙은 해석의 여지가 있고, 어떤 판정은 전문가들 사이에서도 의견이 갈린다. 황(Huang) 등의 서베이가 환각을 '사실 모순'과 '사실 날조'로 세분한 이유도, 환각이 단일한 현상이 아니라 여러 결의 문제이기 때문이다. 측정하려는 대상이 여러 결이면, 단일 숫자로 환산하는 순간 무언가를 왜곡하게 된다.

그래서 우리는 '환각률'이라는 하나의 숫자를 제시하는 대신, 환각이 '일어나기 어려운 구조'를 만들었다고 말한다. 측정 가능한 건 측정하고(결정론 확인, 근거 실재성 검사 등), 측정이 어려운 건 "어렵다"고 정직하게 말한다. 추측을 사실로 위장하지 않는 것 — 그게 환각 방지를 이야기하는 글이 지켜야 할 최소한의 일관성이라고 생각한다. 환각 방지를 주제로 한 글이 정작 검증 안 된 효과 수치를 환각처럼 늘어놓는다면, 그것만큼 모순적인 일도 없을 테니까.

이건 비겁한 회피가 아니라 정직한 한계 인정이다. 한국지능정보사회진흥원(NIA) 계열의 「신뢰할 수 있는 인공지능 개발 안내서」도 비슷한 태도를 취한다. 이 안내서는 자율적으로 점검 가능한 개발 요구사항과 검증항목을 제시하면서, 동시에 최신 동향을 반영하기 위해 웹 문서로 지속 업데이트하는 형태를 택했다(NIA·TTA, 「신뢰할 수 있는 인공지능 개발 안내서: 일반분야」, 2023~). "한 번 만들고 끝"이 아니라 "계속 갱신하는 살아 있는 기준"이라는 태도. AI 신뢰성은 정적인 인증이 아니라 동적인 관리의 영역이라는 인식이 그 바탕에 깔려 있다. 우리도 같은 인식에서 출발한다.

공공부문의 AI 신뢰성 — 국내 가이드가 말하는 것

조금 더 국내 맥락을 들여다보자. 공공부문이 AI를 도입할 때 신뢰성을 어떻게 다뤄야 하는가에 대해, 우리나라에도 공식 가이드가 있다.

한국지능정보사회진흥원(NIA)은 중앙부처·지자체·공공기관이 초거대 AI를 효과적으로 도입·활용할 수 있도록 「공공부문 초거대 AI 도입·활용 가이드라인」을 배포했다(NIA, 2024). 또한 NIA는 「생성형 AI 윤리 가이드북」을 통해 생성형 AI를 쓸 때 고려해야 할 윤리적·신뢰성 쟁점을 정리해 왔다.

이런 국내 가이드들이 공통적으로 강조하는 한 가지가 있다. 바로 AI의 출력은 검증을 거쳐 활용해야 한다는 것이다. 생성형 AI는 그럴듯하지만 틀린 정보를 만들어낼 수 있으므로, 특히 공공 영역에서는 사람이 최종 검증하는 절차를 둬야 한다는 취지다. 이건 ViewCheck가 처음부터 견지해 온 입장과 정확히 일치한다 — AI는 사람을 대체하지 않고, 사람이 더 빠르고 근거 있게 판단하도록 돕는다.

우리가 ViewCheck를 '완성된 정답기'가 아니라 '점점 더 정확해지는 진단 동료'로 부르는 이유가 여기에 있다. 진단 동료는 빠르게 훑어주고, 근거를 대주고, 무엇부터 보면 좋을지 짚어준다. 하지만 그 동료가 가끔 틀릴 수 있다는 걸 인정하고, 그래서 근거를 항상 함께 보여주며, 최종 판단은 사람이 하도록 남겨둔다. 국내 가이드가 요구하는 '사람의 최종 검증'을, 우리는 근거 노출과 참조패널이라는 형태로 제품에 녹여 넣은 셈이다.

여기서 한 가지 더 짚고 싶다. 공공 영역의 AI 신뢰성은 '기술의 문제'이기 전에 '책임의 문제'다. 누가 무엇을 책임지는가가 분명해야 한다. ViewCheck의 충돌 방지 원칙(DOM이 확정한 건 AI가 못 뒤집는다)이나 근거 강제 원칙(모든 판정에 출처를 붙인다)은, 따지고 보면 '책임 소재를 분명히 하는 장치'이기도 하다. 코드가 판정한 건 코드가 책임지고, AI가 채운 건 AI의 근거가 책임지고, 최종 결정은 사람이 책임진다. 책임의 경계가 흐려질 때 환각이 가장 위험해지므로, 우리는 그 경계를 또렷이 그어두려 한다.

충돌이 났을 때 — 숨기지 않고 드러내는 설계

환각 방지를 이야기할 때 흔히 빠지는 부분이 있다. "어떻게 틀리지 않게 하느냐"만 이야기하고, "틀렸거나 애매할 때 어떻게 행동하느냐"는 빼먹는 것이다. 사실 후자가 더 중요할 수 있다.

ViewCheck는 판정 경로들이 서로 어긋날 때, 그걸 매끈하게 덮어버리지 않는다. 오히려 드러낸다. 예를 들어 DOM 규칙 엔진과 Vision AI의 판정이 다를 때, 시스템은 둘 중 하나를 임의로 골라 "정답"인 척하지 않는다. 충돌 지점을 표시하고, 우선순위 규칙(충돌 방지 원칙)에 따라 더 신뢰할 수 있는 쪽을 기본값으로 두되, 그 불일치가 있었다는 사실 자체를 기록한다.

왜 이렇게 하는가. 매끈한 거짓보다 솔직한 불확실성이 낫기 때문이다. SelfCheckGPT의 통찰을 다시 떠올려 보자. 답이 갈라지는 지점이 곧 환각의 신호다. 그렇다면 그 갈라짐을 숨기는 건 환각의 신호를 지우는 것과 같다. 우리는 정반대로, 갈라짐을 사용자에게 보여줘서 "여기는 한 번 더 사람이 봐야 한다"고 알린다. AI가 모든 걸 다 안다고 우기는 것보다, 모르는 곳을 모른다고 표시하는 게 훨씬 신뢰할 만하다.

이 설계 철학은 '해당없음(N/A)' 처리에서도 드러난다. 어떤 규칙을 데이터 부족으로 판정할 수 없을 때, 시스템은 그걸 억지로 '통과'나 '미통과'로 밀어 넣지 않는다. 솔직하게 '해당없음'으로 둔다. 물론 N/A가 너무 많으면 분석의 가치가 떨어지므로, N/A를 줄이는 연구는 별도로 계속한다(이건 트랙 A의 다른 편에서 다룬다). 하지만 'N/A를 줄이는 것'과 'N/A를 거짓 판정으로 메우는 것'은 전혀 다르다. 전자는 분석의 발전이고, 후자는 환각의 다른 이름이다. 우리는 이 둘을 엄격히 구분한다.

정리하면, ViewCheck의 환각 방지는 "절대 틀리지 않게 하는 것"을 목표로 하지 않는다. 그건 불가능하다. 대신 "틀릴 수 있는 자리를 줄이고, 틀렸을 수 있는 곳을 솔직히 드러내고, 근거로 검증 가능하게 만드는 것"을 목표로 한다. 완벽한 판정관이 아니라, 정직한 진단 동료. 그 차이가 공공 영역에서 신뢰의 출발점이라고 믿는다.

세 겹의 장치가 함께 작동하는 한 장면

추상적인 이야기를 마지막으로 한 번 구체화해 보자. 어떤 공공기관 사이트의 신청 페이지를 분석하는 순간, 세 겹의 장치가 어떻게 맞물려 도는지 그려본다.

먼저 크롤러가 그 신청 페이지를 진짜 브라우저로 방문해 DOM·CSS·스크린샷·성능 신호를 수집한다. 수집된 DOM이 KRDSrule 엔진으로 넘어간다. 엔진은 846규칙 중 이 페이지에 해당하는 것들을 if/else로 판정한다. "입력 필드에 레이블이 연결되어 있는가" — 코드가 검사한다. 연결되어 있으면 통과, 아니면 미통과. 여기엔 환각이 없다(첫 번째 장치, 규칙 우선).

그런데 이 페이지에는 이미지로 그려진 동의 버튼이 하나 있다. DOM만으로는 이게 버튼인지 장식인지 애매하다. 규칙 엔진은 이 항목을 일단 '해당없음'으로 남긴다. 이 빈칸을 Vision AI가 본다. 스크린샷을 분석해 "이건 동의 버튼으로 보인다"고 감지한다. AI가 이 판정을 내릴 때, RAG가 KRDS의 동의·확인 패턴 규칙 원문을 검색해 와서 AI 앞에 펼쳐준다. AI는 그 근거를 보고 판단하고, 출처를 함께 단다. 사용자는 참조패널에서 "이 판정은 KRDS의 이 규칙에 근거했다"를 확인한다. 여기서 근거가 강제된다(두 번째 장치, 근거 강제).

마지막으로 시스템은 대조한다. 같은 동의 버튼이 다른 페이지에도 등장한다면 거기서의 판정과 일치하는가? Vision AI의 감지가 DOM 규칙 엔진의 다른 신호와 모순되지 않는가? 공식 체크리스트의 관련 항목과 어긋나지 않는가? 경로들이 일치하면 신뢰도가 올라가고, 어긋나면 '주의 지점'으로 표시된다. 여기서 교차로 확인된다(세 번째 장치, 교차검증).

이 세 단계를 거쳐 나온 판정만이 24개 분석 카드에 오른다. 그리고 모든 판정에는 근거가, 모든 불확실에는 표시가 붙는다. 화려하진 않다. 오히려 보수적이고, 가끔은 "여긴 확실하지 않다"고 솔직히 비워둔다. 하지만 우리는 그 보수성이 공공 영역에서 가장 책임 있는 태도라고 생각한다.

우리가 아직 풀지 못한 것들

R&D 노트의 정직함을 지키기 위해, 아직 우리가 풀지 못한 숙제들도 적어둔다.

첫째, RAG 검색 품질이다. 근거 문서를 잘못 검색해 오면, 그 잘못된 근거를 바탕으로 또 그럴듯하게 틀릴 수 있다. 검색이 정확히 관련 규칙을 가져오는지, 충돌하는 여러 근거를 어떻게 다룰지는 계속 다듬는 중이다.

둘째, 시각 판정의 신뢰도다. Vision AI가 "버튼으로 보인다"고 할 때, 그 '보인다'가 얼마나 믿을 만한지를 등급으로 매기는 일은 여전히 어렵다. 사람도 애매해하는 화면을 AI가 단호하게 판정하면 그게 오히려 환각이다. 그래서 우리는 시각 판정에 항상 신뢰도 등급을 함께 두려 하지만, 이 등급화 자체가 연구 과제다.

셋째, 환각률의 정량 측정이다. 앞서 말했듯 '환각을 얼마나 줄였는가'를 단일 숫자로 깔끔하게 제시하는 건 아직 못 한다. 학계도 못 했다. 우리는 측정 가능한 부분(결정론, 근거 실재성)만 측정하고, 나머지는 "어렵다"고 정직하게 말하는 단계에 있다.

이 숙제들을 적는 이유는, "그러니 아직 못 쓰는 도구"라고 말하려는 게 아니다. 오히려 반대다. 이 숙제들을 알고 있고, 숨기지 않고, 계속 풀어가고 있다는 것 자체가 신뢰의 근거라고 믿기 때문이다. 환각을 다루는 도구가 정작 자기 한계에 대해 환각을 일으킨다면, 그것만큼 자기모순적인 일도 없다. 우리는 우리 한계에 대해서만큼은 정직하려 한다.

마무리 — 똑똑함을 믿지 않고, 근거를 강제한다

이번 편의 핵심을 한 문장으로 줄이면 이렇다. 우리는 AI가 똑똑하다고 믿지 않는다. 다만 AI가 근거를 대고, 지어낼 자리를 좁히고, 서로 다른 길로 검증받게 강제할 뿐이다.

환각은 LLM의 본질적 성질이다. 학계의 서베이들(Ji et al., Huang et al.)이 보여주듯, 환각은 단일한 버그가 아니라 여러 결의 현상이고, 완전히 없앨 수 있는 게 아니다. 거기에 아첨(Sharma et al.)과 평가 편향(Zheng et al.)까지 겹치면, "AI에게 판정을 통째로 맡긴다"는 발상은 공공 영역에서 너무 위험하다.

그래서 ViewCheck는 세 겹의 장치를 택했다. 규칙 우선으로 AI가 지어낼 자리를 좁히고, **근거 강제(RAG)**로 모든 판정에 검증 가능한 출처를 붙이고, 교차검증으로 서로 다른 경로가 같은 답에 닿는지 대조한다. 그리고 이 장치들이 작동하는지를 결정론 확인·근거 추적·프로덕션 실측으로 검증한다. 화려한 약속 대신, 틀리기 어려운 구조와 솔직한 한계 인정으로.

이게 우리가 생각하는 건강한 AI 진단의 모습이다. 모든 걸 다 안다고 우기는 만능 심판이 아니라, 근거를 대고 모르는 곳을 모른다고 말하는 정직한 동료. 그 동료가 사이트 전체를 빠르게 훑어주고, 무엇이 왜 문제인지 근거와 함께 짚어주면, 최종 판단은 사람이 더 빠르고 더 근거 있게 내릴 수 있다. 우리는 그 구도를 바꾸려 하지 않는다. 다만 그 구도가 더 잘 돌도록, 환각이라는 가장 골치 아픈 문제를 한 겹씩 더 막아갈 뿐이다.

다음 편에서는 이 환각 방지의 토대가 되는 또 다른 주제로 이어가려 한다. 근거를 '대는' 것을 넘어, 그 근거 지식을 어떻게 모으고 구조화하는가 — RAG 지식베이스를 만들어가는 이야기다. 공공 웹의 품질을 근거 있게 진단하는 일, 우리는 그게 가능하다고 믿고, 매일 조금씩 실측으로 그 가능성을 늘려가고 있다. 다음 편에서 이어가겠다.

참고문헌

본문에 인용한 출처는 작성 시점에 모두 실재 여부를 검증했다. LLM 환각·아첨·평가 편향·RAG에 관한 해외 학술 연구와, 국내 공식 기준·정책자료를 함께 실었다.

해외 — LLM 환각 / 평가 / RAG 연구

Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Ye Jin Bang, Andrea Madotto, Pascale Fung, "Survey of Hallucination in Natural Language Generation", ACM Computing Surveys 55(12), Article 248, 2023. https://dl.acm.org/doi/10.1145/3571730
Lei Huang et al., "A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions", ACM Transactions on Information Systems, 2024 (arXiv:2311.05232). https://arxiv.org/abs/2311.05232
Lianmin Zheng et al., "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena", NeurIPS 2023 (arXiv:2306.05685). https://arxiv.org/abs/2306.05685
Mrinank Sharma et al. (Anthropic), "Towards Understanding Sycophancy in Language Models", 2023 (arXiv:2310.13548). https://arxiv.org/abs/2310.13548
Patrick Lewis et al., "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks", Advances in Neural Information Processing Systems (NeurIPS) 33, 2020. https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html
Potsawee Manakul, Adian Liusie, Mark J. F. Gales, "SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models", EMNLP 2023. https://aclanthology.org/2023.emnlp-main.557/
"Limitations of the LLM-as-a-Judge Approach for Evaluating LLM Outputs in Expert Knowledge Tasks", Proceedings of the 30th International Conference on Intelligent User Interfaces (ACM IUI 2025). https://dl.acm.org/doi/10.1145/3708359.3712091

국내 — 공식 기준 / AI 신뢰성 정책자료

한국정보통신기술협회(TTA)·한국지능정보사회진흥원(NIA), 「신뢰할 수 있는 인공지능 개발 안내서: 일반분야」(2023, 웹 문서 지속 업데이트). https://tta-trustworthy-ai.gitbook.io/general
한국지능정보사회진흥원(NIA), 「공공부문 초거대 AI 도입·활용 가이드라인」(2024). https://www.nia.or.kr/site/nia_kor/ex/bbs/View.do?cbIdx=99852&bcIdx=26677&parentSeq=26677
한국지능정보사회진흥원(NIA), 「생성형 AI 윤리 가이드북」. https://www.nia.or.kr/site/nia_kor/ex/bbs/View.do?cbIdx=39485&bcIdx=26195&parentSeq=26195
KRDS(범정부 UI/UX 디자인시스템) 공식 사이트. 행정안전부·디지털플랫폼정부위원회. https://www.krds.go.kr/

※ 본문의 환각 분류(내재적/외재적, 사실성/충실성)는 Ji et al.(2023) 및 Huang et al.(2024) 서베이의 정의에 근거했다. RAG의 환각 저감 메커니즘은 Lewis et al.(2020)을, 일관성 기반 환각 탐지는 Manakul et al.(2023)을 근거로 요약했다. LLM 평가자의 편향과 아첨은 각각 Zheng et al.(2023)·Sharma et al.(2023)에 따랐다.