AI 답변을 팩트체크하는 5단계
이 방법은 어떤 챗봇에서도 통합니다. 일반적인 답변이라면 몇 분이면 충분하며, 결과에 책임이 따르는 일이라면 충분히 들일 가치가 있습니다.
검증 가능한 주장을 추려 내세요
이름, 숫자, 날짜, 인용문, 출처. 환각이 숨어 있는 곳이자 오류의 대가가 가장 큰 곳입니다.
1차 자료를 확인하세요
법원 데이터베이스, 공식 통계, 논문 원문 등이 여기에 해당합니다. 두 번째 AI는 확인할 범위를 좁혀 줄 뿐, 원 자료를 대신하지는 못합니다.
출처가 실제로 존재하는지 확인하세요
모든 참고 자료를 직접 열어 보세요. 실제로 존재하는지, 그리고 답변이 주장하는 내용이 정말 그 자료에 담겨 있는지 확인하세요.
의견이 엇갈리면 멈추세요
두 모델이 어떤 사실에 대해 서로 다른 답을 내놓는다면, 사용하기 전에 반드시 검증하세요. 법률, 의료, 금융 업무라면 자격을 갖춘 전문가의 검토도 거치세요.
실제 사례: 검증하지 않은 AI 답변이 치른 대가
“전 세계 손실 674억 달러”처럼 널리 퍼진 수치는 방법론이 공개되지 않은 마케팅 자료에서 나온 것이므로 여기서는 제외했습니다. 아래 사례는 모두 공개 기록으로 확인할 수 있습니다.
Mata v. Avianca 사건에서 변호사들이 2023년 3월에 제출한 서면에는 존재하지 않는 법원 판결 6건이 인용되어 있었습니다. 판례가 실제로 있느냐는 질문에 ChatGPT는 그렇다고 답하며 “LexisNexis와 Westlaw 같은 신뢰할 수 있는 법률 데이터베이스”에서 찾을 수 있다고 했습니다. 2023년 6월 P. Kevin Castel 판사는 가짜 판결문 하나의 법리 분석을 “횡설수설”이라고 평가하고, 변호사들과 소속 로펌에 5,000달러의 벌금을 부과했습니다.
이후 법정에서 컨설팅 보고서에 이르기까지 같은 패턴이 반복되었습니다. 자신감 넘치는 AI 답변, 독립적인 검증의 부재, 그리고 공개적인 정정입니다. 해법은 AI 사용을 멈추는 것이 아닙니다. 검증되지 않은 단일 답변을 믿지 않는 것입니다.
AI는 얼마나 자주 사실을 틀릴까요?
작업과 모델에 따라 크게 다릅니다. 잘 기록된 두 가지 측정 결과는 다음과 같습니다.
| 테스트 | 환각률 | 시사점 |
|---|---|---|
| 특정 법률 질문 GPT-3.5, PaLM 2, Llama 2 · Stanford, 2024년 | 69–88% 법원의 핵심 판시 사항에서는 최소 75% | 법률 문체는 흉내 내기 쉬워서 지어낸 인용도 진짜처럼 보입니다. |
| 인물에 관한 질문(PersonQA) OpenAI o3 및 o4-mini 시스템 카드, 2025년 4월 | o1: 16% · o3: 33% · o4-mini: 48% | 최신 추론 모델일수록 단순한 사실에서 오히려 환각을 더 많이 일으킬 수 있습니다. |
이 수치는 신중하게 해석하세요. 두 테스트 모두 어려운 질문 세트와 이미 후속 모델로 대체된 모델을 사용했으며, 최신 모델은 많은 벤치마크에서 더 나은 성적을 냅니다. 하지만 어떤 공개된 수치도 지금 눈앞의 답변이 맞는지는 알려 주지 않습니다. 그래서 모델의 평판이 아니라 답변 자체를 확인해야 합니다.
모델이 환각을 일으키는 이유, 간단히
언어 모델은 데이터베이스 조회가 아닙니다. 가장 그럴듯한 다음 단어를 예측할 뿐입니다. 흔한 주제에서는 그럴듯한 것과 사실이 대체로 일치합니다. 환각은 그 틈에서 생깁니다. 드문 주제, 학습 데이터 기준일 이후의 사건, 그리고 판례 인용처럼 익숙한 형식을 갖춘 것들입니다. 해당 판례가 실제로 존재하든 존재하지 않든 말이죠.
“확실해?”라고 물어도 소용없는 이유도 여기에 있습니다. 그 질문에 대한 가장 그럴듯한 대답은 “네”이기 때문입니다. 확신은 측정된 것이 아니라 생성된 것입니다.
다른 계열의 두 번째 모델이 도움이 되는 이유
계열 간 교차 검증이 가장 효과적입니다
검증자로서의 LLM을 다룬 2025년 12월 연구에 따르면 서로 다른 모델 계열 간 검증이 자기 검증이나 같은 계열 내 검증보다 더 효과적이었습니다. 개선 폭은 수학과 논리 과제에서 가장 컸습니다.
벤치마크가 여러 계열의 평가자를 쓰는 데는 이유가 있습니다
Google DeepMind의 FACTS Grounding 벤치마크는 평가자가 자기 계열 모델의 답변을 편애하는 편향을 줄이기 위해 세 평가 모델(Gemini 1.5 Pro, GPT-4o, Claude 3.5 Sonnet)로 답변을 채점합니다.
학습이 다르면 사각지대도 다릅니다
한 회사의 모델들은 학습 데이터와 습관을 공유하기 때문에 같은 지점에서 실수하는 경향이 있습니다. 다른 회사의 모델은 첫 번째 모델이 놓친 부분을 잡아내는 경우가 많습니다. 물론 항상 그런 것은 아닙니다.
MultipleChat Auto Verification의 작동 방식
답변이 전달되면 MultipleChat은 Google Gemini를 사용해 해당 답변의 사실 정확성을 자동으로 검사할 수 있습니다. 사실 오류, 오래된 정보, 빠진 맥락을 찾아낸 뒤 답변에 배지를 표시합니다.
모델이 답변합니다
평소처럼 ChatGPT, Claude, Grok, Perplexity 또는 Gemini와 대화하세요. 답변이 먼저 전달되므로 검사가 끝날 때까지 기다릴 필요가 없습니다.
Gemini가 검사합니다
Gemini는 원래 질문과 답변을 함께 전달받습니다. 한 번의 호출로 이 유형의 콘텐츠에 검증이 적절한지 판단하고, 적절하다면 무엇이 맞고 어떤 문제가 있는지 확인합니다.
배지가 표시됩니다
문제가 없으면 Verified(검증됨), 문제가 있으면 간단한 설명과 함께 Issues found(문제 발견)이 표시됩니다.
스마트 건너뛰기
사실 확인의 의미가 크지 않은 경우에는 검증을 자동으로 건너뛰어 크레딧을 아낍니다.
켜는 방법
Auto Verification은 기본적으로 꺼져 있습니다. 메시지 입력창 옆 도구 메뉴에서 Auto-verify answers(답변 자동 검증)를 켜세요(유료 요금제). 켜 두면 모든 답변이 전달 직후 검사되며, 검사 1회는 메시지 1건으로 계산됩니다.
출처: MultipleChat 문서. Gemini 자체와 대화할 때는 같은 모델 계열이 검사하게 됩니다. 다른 계열의 관점이 필요하다면 Compare Mode를 사용하세요.
실제 적용 예시: 지어낸 판례 인용
Mata v. Avianca 사건을 무너뜨린 실패 유형을 보여 주는 예시입니다. 아래 판례명은 이 페이지를 위해 지어낸 것입니다.
“국제선 항공편과 관련된 인신 상해 소송에서 소멸시효의 형평법상 정지(equitable tolling)를 다룬 미국 연방 판례 3건을 인용해 주세요.”
“관련 선례로는 Henderson v. KLM Royal Dutch Airlines, 412 F.3d 332 (2d Cir. 2005), Cordova v. Avianca Airlines, 549 F. Supp. 2d 1208 (S.D.N.Y. 2008), Patel v. Air India, 627 F.3d 415 (9th Cir. 2010) 세 건이 있습니다...”
실제 판례 인용과 똑같은 형식에, 확신에 찬 어조로 제시됩니다.
“인용된 판례 3건은 확인할 수 없으며 지어낸 것으로 보입니다. 인용하기 전에 반드시 법률 데이터베이스에서 확인하세요.”
이 표시는 어디를 살펴봐야 하는지 알려 줍니다. 법리를 최종 확인하는 일은 여전히 여러분이나 변호사의 몫입니다.
그래도 검증이 실패하는 경우
공유된 사각지대
두 모델이 같은 잘못된 사실을 학습했다면 검사 모델도 그것을 맞다고 확인합니다. 계열 간 교차 검사는 이 위험을 줄여 주지만 없애 주지는 못합니다.
아주 최신 정보
어느 모델도 본 적 없는 사건은 검증할 수 없습니다. 최신 사실은 웹 검색이나 출처를 제시하는 Research 모드를 사용하세요.
정도의 오류
검사 모델은 실제로는 26%인데 30%라고 쓴 것처럼 살짝 어긋난 수치보다, 완전히 지어낸 사실을 더 확실하게 잡아냅니다.
Auto Verification을 켜야 할 때
| 활용 사례 | 권장 사항 | 이유 |
|---|---|---|
| 법률 리서치 | ✅ 켜기 + 법률 데이터베이스 확인 | 판례 날조는 가장 잘 기록된 실패 유형입니다. |
| 의료 및 건강 질문 | ✅ 켜기 + 의료진 또는 공식 지침 확인 | 오류가 단순한 망신을 넘어 실제 피해로 이어질 수 있습니다. |
| 재무 수치 | ✅ 켜기 + 공시 자료나 보고서 확인 | 숫자는 자신 있게, 그러면서도 틀리게 말하기 쉽습니다. |
| 인용, 통계, 인용문 | ✅ 켜기 | 하나하나가 모두 검증 가능한 주장입니다. |
| 인물, 날짜, 역사 | ✅ 켜기 | 최신 추론 모델조차 특정 인물에 관한 사실을 자주 틀립니다. |
| 코드 | ⏭️ 자동으로 건너뜀 | 대신 코드를 실행하고 테스트하세요. |
| 창작 글쓰기, 의견, 브레인스토밍 | ⏭️ 자동으로 건너뜀 | 사실 여부가 적절한 평가 기준이 아닙니다. |
| 수학, 사용 방법, 정의, 문법 | ⏭️ 자동으로 건너뜀 | 이 경우 사실 확인의 효과가 크지 않습니다. |
모든 답변에 대해 두 번째 의견을 받아 보세요
ChatGPT, Claude, Grok 또는 Perplexity와 대화하면서 Gemini가 각 답변의 오류, 오래된 정보, 빠진 맥락을 검사하게 하세요. 유료 요금제에서 이용할 수 있습니다.
자주 묻는 질문
AI 팩트체커란 무엇인가요?
AI 팩트체커란 답변을 활용하기 전에 사실 오류, 오래된 정보, 누락된 맥락이 있는지 검토하는 두 번째 AI 모델입니다. 검토하는 모델이 답변을 작성한 모델과 다른 모델 제품군일 때 가장 효과적입니다.
AI 답변은 어떻게 팩트체크하나요?
확인할 수 있는 주장(이름, 숫자, 날짜, 인용문, 참고 문헌)을 나열하고, 다른 제품군의 모델에게 검토를 맡기거나 여러 모델을 나란히 비교한 뒤, 중요한 내용은 1차 출처에서 확인하세요. 모델 간 의견이 엇갈리는 부분은 행동하기 전에 검증하세요.
AI가 자기 답변을 스스로 팩트체크할 수 있나요?
제한적으로만 가능합니다. 2025년 LLM 검증기에 관한 연구에 따르면, 서로 다른 모델 제품군 간의 검증이 자기 검증이나 같은 제품군 내 검증보다 더 효과적입니다. 확실하냐고 물으면 모델은 자기 답을 되풀이하는 경향이 있습니다.
MultipleChat Auto Verification은 어떻게 작동하나요?
응답이 전달되면 Gemini가 원래 질문과 답변을 받습니다. 단 한 번의 호출로 해당 유형의 콘텐츠에 검증이 적절한지 판단하고, 적절하다면 무엇이 맞고 어떤 문제가 있는지 확인합니다. 그러면 응답에 Verified 배지 또는 간단한 설명과 함께 Issues found 배지가 표시됩니다.
Auto Verification은 기본으로 켜져 있나요?
아니요. Auto Verification은 기본적으로 꺼져 있습니다. 메시지 입력란 옆 도구 메뉴에서 Auto-verify answers(답변 자동 검증)를 켜세요. 유료 요금제에서 사용할 수 있습니다. 켜 두면 모든 답변이 전달 직후 검사되며, 검사 1회는 메시지 1개로 계산됩니다.
Auto Verification은 모든 답변을 검사하나요?
아니요. 사실 확인의 의미가 크지 않은 콘텐츠는 건너뛰어 크레딧을 절약합니다. 간단한 수학과 계산, 코드 생성과 디버깅, 창작 글쓰기, 의견과 주관적인 질문, 방법 안내, 정의나 문법 도움이 여기에 해당합니다.
AI 팩트체커가 틀리면 어떻게 하나요?
그럴 수 있습니다. 두 모델이 같은 사각지대를 가지고 있으면 둘 다 같은 방식으로 틀릴 수 있으므로, 배지는 증거가 아니라 신호입니다. 게시하거나, 제출하거나, 근거로 행동할 내용이라면 핵심 주장을 1차 출처에서 확인하고 사람이 검토하도록 하세요.
AI 환각이 실제 피해를 일으킨 적이 있나요?
네. Mata v. Avianca 사건(2023)에서 한 연방 판사는 ChatGPT가 생성한 존재하지 않는 판결 6건을 인용한 준비서면을 이유로 변호사 두 명과 소속 로펌에 $5,000의 벌금을 부과했습니다. 2025년에는 Deloitte Australia가 조작된 법원 인용문과 존재하지 않는 연구 논문에 대한 참조가 담긴 정부 보고서와 관련해 수수료 A$440,000의 일부를 환불하기로 합의했습니다.
출처
- Mata v. Avianca, Inc., No. 1:22-cv-01461 (S.D.N.Y. June 22, 2023), 제재 결정문. ABA Journal 보도.
- Smith v. Farwell (Mass. Super. Ct., Feb. 2024). Maryland State Bar Association 보도.
- Associated Press, "Deloitte to partially refund Australian government for report with apparent AI-generated errors," 2025년 10월 7일 (CTV News 경유).
- Dahl, Magesh, Suzgun, Ho, "Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models," Stanford RegLab and HAI, 2024 (요약).
- OpenAI, o3 및 o4-mini 시스템 카드, 2025년 4월, PersonQA 평가 (Techzine 보도).
- Lu, Teehan, Jin, Ren, "When Does Verification Pay Off? A Closer Look at LLMs as Solution Verifiers," arXiv:2512.02304, 2025년 12월.
- Google DeepMind, "FACTS Grounding: A new benchmark for evaluating the factuality of large language models," 2024년 12월 17일.
- MultipleChat 문서: Auto-Verification.