Lotook
AI 답변에서 가장 위험한 점은 답변이 자주 틀린다는 사실이 아닙니다. 틀린 답변도 올바른 답변과 똑같이 자신감 있고 잘 정리된 어조로 나온다는 점입니다.
이제 법조계의 모든 사람이 아는 사건이 Mata v. Avianca입니다. 2023년 뉴욕 연방 법원 사건에서 변호사들은 ChatGPT가 지어낸 판례를 가짜 인용문까지 포함해 인용한 서면을 제출했습니다. 판례가 실제로 존재하는지 묻자 ChatGPT는 판례가 “실제로 존재하며” 법률 데이터베이스에서 찾을 수 있다고 확언했습니다. 하지만 그렇지 않았습니다. 2023년 6월 Judge P. Kevin Castel은 변호사들과 그들의 법률 사무소에 $5,000의 벌금을 부과했습니다.
그 이후 도구는 크게 발전했지만 교훈은 달라지지 않았습니다. 모델에 스스로의 답변을 보증해 달라고 요청해서는 안 됩니다. 이 글은 AI 답변을 신뢰하기 전에 확인할 때 제가 권하는 절차를 소개합니다. 약 5분이 걸리며 대부분의 문제를 찾아낼 수 있습니다.
AI 답변이 틀리는 이유
오류가 어떻게 발생하는지 알면 어디를 살펴봐야 할지 알 수 있습니다.
- 사실보다 그럴듯함이 앞섭니다. 언어 모델은 학습한 패턴에 맞는 텍스트를 생성합니다. 무언가를 모를 때 “모릅니다”라고 말하는 대신 옳게 들리기만 하는 내용을 만들어 낼 수 있습니다.
- 지식이 오래됩니다. 모델은 웹을 검색하지 않는 한 최근 사건을 모를 수 있으며, 검색하더라도 오래된 정보에 의존할 수 있습니다.
- 출처가 뒤섞입니다. 두 연구, 이름이 비슷한 두 사람 또는 한 정책의 두 버전이 하나의 자신감 있는 문장으로 합쳐질 수 있습니다.
- 출처가 만들어지거나 잘못 해석됩니다. 링크가 존재하지 않거나, 관련 없는 곳으로 연결되거나, 그 출처를 바탕으로 한 요약과 다른 내용을 말할 수 있습니다.
- 숫자가 달라집니다. 백분율, 날짜, 단위, 통화에 오류가 집중됩니다.
웹을 검색하고 출처를 보여 주는 어시스턴트는 몇 년 전보다 훨씬 나아졌습니다. 그래도 이 모든 실수를 여전히 때때로 저지릅니다.
먼저 얼마나 확인해야 할지 결정하기
모든 답변을 똑같이 꼼꼼하게 살펴볼 필요는 없습니다. 중요도에 맞춰 노력을 기울이세요.
| 중요도 | 예시 | 할 일 |
|---|---|---|
| 낮음 | 이름 아이디어를 내거나 이메일을 고쳐 쓰거나 어차피 공부할 개념을 설명하기 | 비판적으로 읽기. 정식 검증은 필요 없음 |
| 보통 | 업무 문서의 사실, 공유할 요약, 따라 할 지침 | 아래의 5분 검증을 수행하기 |
| 높음 | 건강, 법률, 돈, 안전에 관한 결정과 공개할 모든 내용 | 검증을 수행한 뒤 1차 출처나 자격을 갖춘 전문가에게 확인하기 |
5분 검증
1분 차: 주장 목록 만들기
답변을 훑어보고 확인할 수 있는 구체적인 내용을 추립니다. 이름, 숫자, 날짜, 인용문, 출처와 “X가 Y로 이어졌다” 같은 인과관계 주장입니다. 이어 주는 문장은 무시하세요. 대부분의 답변은 세 가지에서 여섯 가지 주장에 기반하며, 바로 이것들을 검증해야 합니다.
확인할 수 있는 주장을 하나도 찾지 못했다면 그 점도 주목하세요. 모호한 답변은 틀렸다는 것을 증명하기 어렵지만, 믿고 의지하기도 어렵습니다.
2분 차: 모든 출처 열기
어시스턴트가 출처를 인용했다면 하나하나 클릭하세요. 각 출처에 대해 세 가지를 질문합니다. 페이지가 존재하는가? 콘텐츠 농장이 아니라 공식 페이지, 연구 또는 평판이 좋은 언론사처럼 설명된 종류의 출처가 맞는가? 그리고 답변이 그 출처에 있다고 말한 내용이 실제로 적혀 있는가?
마지막 질문으로 가장 많은 오류를 찾아낼 수 있습니다. 실제로는 가짜 링크보다 진짜 출처에 잘못된 요약이 붙은 경우가 훨씬 흔하며, 링크가 멀쩡해 보이기 때문에 놓치기도 훨씬 쉽습니다.
출처가 없다면 출처를 요청하고 확인하세요. 다만 출처가 실재한다는 모델의 말만 믿어서는 안 됩니다. 바로 그것이 Mata v. Avianca에서 잘못된 점입니다.
3분 차: 가로 읽기
팩트체커는 출처를 꼼꼼히 읽는 것만으로 평가하지 않습니다. 새 탭을 열고 다른 사람들이 그 출처에 대해 뭐라고 말하는지 살펴봅니다. 디지털 리터러시 연구자 Mike Caulfield는 이를 SIFT라는 방법으로 정리했습니다.
- Stop: 반응하거나 공유하기 전에 멈추세요. 특히 주장을 보고 갑자기 분노하거나 기뻐졌다면 더욱 그렇습니다.
- Investigate the source: 출처를 조사하세요. 누가 운영하며, 무엇으로 알려져 있나요?
- Find better coverage: 더 나은 보도를 찾으세요. 다른 신뢰할 만한 출처도 같은 내용을 보도하나요?
- Trace claims: 주장을 원래 맥락까지 추적하세요. 실제 연구, 인용문 전문, 원본 사진을 확인합니다.
핵심 문구를 따옴표로 묶어 검색하거나 이름과 키워드를 함께 검색하면 원본을 몇 초 만에 찾는 경우가 많습니다.
4분 차: 숫자와 날짜 확인하기
모든 수치를 꼼꼼히 살펴보세요.
- 최신 정보인가요? 기준일을 찾으세요. 가격, 법률, 제품 기능, 통계는 끊임없이 변합니다.
- 올바른 지표인가요? 매출과 이익, 사용자와 월간 활성 사용자, 퍼센트와 퍼센트포인트는 모두 혼동되기 쉽습니다.
- 계산이 맞나요? 어떤 수치가 40에서 70으로 “두 배가 됐다”면 사실이 아닙니다.
- 단위가 맞나요? 통화, 백만과 십억, 미터법과 야드파운드법을 주의해서 보세요.
5분 차: 무엇이 답변을 바꿀지 묻기
어시스턴트에 자신의 답변에서 허점을 찾아보라고 요청하세요. 예를 들면 다음과 같습니다. “답변의 어느 부분이 가장 확실하지 않으며, 그 내용을 확인하려면 무엇을 검토해야 하나요?”
이렇게 하면 취약한 부분이 빠르게 드러나는 경우가 많습니다. 다만 그 답변은 검증 결과가 아니라 할 일 목록으로 취급하세요. 모델은 여전히 자기 숙제를 스스로 채점하고 있습니다. 중요한 사안이라면 다른 제공업체의 모델에 같은 질문을 하는 것이 저렴하게 두 번째 의견을 얻는 방법입니다. AI 모델 선택 방법 가이드에서는 언제 두 번째 의견을 구할 가치가 있는지 설명합니다.
다시 살펴봐야 할 위험 신호
| 위험 신호 | 중요한 이유 |
|---|---|
| 출처 없이 지나치게 정확한 숫자 | 정밀한 수치도 다른 무엇이든 지어내듯 쉽게 만들 수 있음 |
| 유명인의 인용문 | 학습 데이터에는 발언자가 잘못 표기된 인용문이 넘쳐남 |
| 일반적인 제목의 출처나 홈페이지로 연결되는 링크 | 존재하지 않는 출처를 나타내는 흔한 징후 |
| 웹에 접속할 수 없는 도구가 최근 사건을 자세히 설명함 | 오래된 정보로 빈틈을 채우고 있을 수 있음 |
| 다시 생성하면 달라지는 답변 | 모든 버전이 확신에 차 보이더라도 모델은 확실하지 않음 |
| 기대했던 내용을 정확히 말하는 답변 | 모델은 질문의 표현 방식에 동조하는 경향이 있음 |
마지막 신호가 가장 알아채기 어렵습니다. “왜 X가 좋은 생각인가요?”라고 물으면 대개 X가 좋은 생각인 이유를 듣게 됩니다. 대신 “X에 찬성하고 반대하는 가장 강력한 근거는 무엇인가요?”라고 물어보세요.
특수한 경우
이미지, 스크린샷, 동영상
이제 AI로 생성하거나 편집한 이미지는 흔하며, “게시물”의 스크린샷은 몇 초면 위조할 수 있습니다. 역이미지 검색으로 이전 사본과 원래 맥락을 찾아보세요. 파일에 Content Credentials가 들어 있는지도 확인하세요. 이는 C2PA 연합의 출처 표준으로, 일부 카메라, 편집 앱, AI 생성기가 이미지에 첨부합니다.
규제도 도움이 되기 시작했습니다. 2026년 8월 2일부터 EU AI Act의 투명성 규칙은 생성형 AI 시스템 제공자가 합성 콘텐츠에 기계가 읽을 수 있는 방식으로 표시하도록, 딥페이크를 공개하는 사람은 그 사실을 밝히도록 요구합니다. 8월 2일 이전에 이미 시장에 출시된 시스템은 2026년 12월 2일까지 표시를 추가해야 합니다. EU의 AI 콘텐츠 표시 규칙 해설에서 자세한 내용을 다룹니다. 표시가 없거나 제거될 수도 있으므로, 표시가 없다는 것은 “진짜”가 아니라 “알 수 없음”으로 받아들이세요.
건강, 법률, 돈
AI는 상황을 이해하고 더 나은 질문을 준비하는 데 사용하고, 최종 결정을 내리는 데 사용하지 마세요. 행동으로 옮길 내용은 정부 공식 페이지나 법률 또는 정책의 실제 본문과 같은 1차 출처 또는 자격을 갖춘 전문가에게 확인하세요.
속보
초기 보도는 잘못된 경우가 많으며 AI 요약도 그 오류를 물려받습니다. 빠르게 전개되는 사건은 여러 주요 언론사의 확인을 기다리거나 해당 언론사를 직접 찾아보세요.
확인하기 쉬운 답변 요청하기
처음부터 검증 가능한 답변을 요청하면 시간을 절약할 수 있습니다.
- “사실을 주장할 때마다 직접 링크와 해당 페이지의 짧은 인용문을 포함해 출처를 밝혀 주세요.”
- “잘 확립된 내용과 불확실하거나 논쟁 중인 내용을 구분해 주세요.”
- “각 통계가 언제의 수치인지 날짜를 포함해 주세요.”
- “모르면 추측하는 대신 모른다고 말해 주세요.”
이런 요청 중 어느 것도 정확성을 보장하지는 않습니다. 각각 문제를 더 쉽게 발견하도록 도와줄 뿐입니다. 또한 모델이 대조할 문서를 붙여 넣는다면 먼저 민감한 내용을 모두 제거하세요. 민감한 데이터를 유출하지 않고 직장에서 AI를 사용하는 방법 가이드에서 무엇을 빼야 하는지 설명합니다.
가장 중요한 한 가지 습관
이 가이드에서 한 가지만 기억한다면 이것입니다. 출처를 여세요. 실제 피해를 일으키는 AI 오류의 대부분은 누군가 링크를 눌러 페이지를 읽었다면 발견할 수 있었을 것입니다.
AI 에이전트가 여러분을 위해 수행한 작업을 보고할 때도 같은 규칙이 적용됩니다. “작업 완료”는 주장이지 증거가 아닙니다. AI 에이전트란 무엇인가 가이드에서는 에이전트가 더 오래 걸리는 일을 맡게 되면서 이것이 왜 더 중요해지는지 설명합니다.
출처
- LawNext, Court imposes sanctions on lawyers who filed bogus cases after relying on ChatGPT for legal research, 2023년 6월 22일
- Wikipedia, Mata v. Avianca, Inc.
- Mike Caulfield, SIFT (The Four Moves), 2019년 6월 19일
- C2PA, Coalition for Content Provenance and Authenticity
- European Commission, Guidelines on transparency obligations for providers and deployers of certain AI systems
- Morgan Lewis, EU AI Act’s transparency rules: what went into effect on 2 August, 2026년 8월
