존재하지 않는 판례 6건이 법정에 제출되다
2023년 미국 뉴욕 남부연방지방법원에 한 장의 서면이 접수됐다. 10쪽 분량의 이 서면에는 항공사를 상대로 한 승객 소송에서 원고에게 유리한 판례가 6건이나 인용돼 있었다. 사건번호가 붙어 있었고, 판결 연도와 인용 페이지도 정확한 형식을 갖췄다. 판결문 안에서 또 다른 판례를 인용하는 문장까지 들어 있었다. 형식만 보면 흠잡을 데가 없었다.
문제는 그 6건이 전부 세상에 존재하지 않는 사건이었다는 점이다. 상대편 변호인단이 유료 법률 데이터베이스와 연방 법원 전자 기록을 모두 뒤졌지만 같은 사건은 나오지 않았다. 판결문 작성자로 이름이 올라간 실제 판사들에게 문의가 갔고, 그런 판결을 쓴 적이 없다는 답이 돌아왔다. 서면을 작성한 사람은 갓 개업한 신입이 아니라 30년을 법정에서 보낸 변호사였다.
사건의 출발점, 기내에서 다친 무릎과 마감 이틀 전의 선택
원래 사건은 평범한 개인 상해 소송이었다. 한 승객이 비행기 안에서 승무원이 밀던 금속 서비스 카트에 무릎을 부딪혀 다쳤고, 항공사를 상대로 배상을 요구했다. 항공사 측은 국제 항공 운송에 적용되는 협약상 소송 제기 기한이 지났다는 논리로 사건을 각하해 달라고 요청했다.
원고 측 변호사에게는 이 주장을 뒤집을 연방 판례가 필요했다. 그런데 그는 30년 가까이 주 법원 사건을 주로 다뤄 왔고, 연방 항소심 판결을 검색해 본 경험이 거의 없었다. 사무소가 쓰던 법률 검색 계정도 연방 판결 전문까지 열어 주지 않는 요금제였다. 마감은 다가왔고, 근거는 부족했다.
마감 이틀 전, 처음 연 대화창
그는 아들에게 들었던 대화형 AI를 처음으로 열었다. 하얀 화면에 질문을 적자 몇 초 만에 답이 돌아왔다. 그 답에는 그가 평생 본 적 없는 판례 이름들이 줄줄이 붙어 있었다. 중국 남방항공을 상대로 한 사건, 이집트 항공 사건, 이란 항공 사건까지 이름만 놓고 보면 항공 소송의 계보처럼 보였다.
그는 목록을 그대로 옮겨 서면을 완성했다. 이 대목이 이 사건의 핵심이다. 그는 판례를 읽지 않았고, 원문을 찾아보지도 않았다. 형식이 정확했기 때문에 내용도 정확하다고 믿었다.
상대편 변호인단이 먼저 알아챘다
항공사 측 변호인단은 인용된 판결을 확인하려다 벽에 부딪혔다. 사건번호를 넣을 때마다 검색 결과 화면이 비어 있었다. 그들은 법원에 짧은 서신을 보내 인용된 판례 대부분을 어디에서도 찾을 수 없다고 알렸다. 담당 판사도 직접 확인에 나섰고, 결국 원고 측에 인용한 판결의 사본을 모두 제출하라고 명령했다.
이 명령이 사건의 방향을 완전히 바꿨다. 보통이라면 여기서 실수를 인정하고 서면을 철회하면 끝날 일이었다.
다시 AI에게 물었고, AI는 진짜라고 답했다
명령을 받은 변호사는 다시 AI 화면을 열었다. 인용한 판례가 진짜인지 물었고, 화면에는 진짜라는 답이 떴다. 한 번 더 확인을 요청하자 이번에는 판결문 전문처럼 보이는 긴 문장까지 생성됐다. 날짜와 재판부 구성, 판사들의 의견 요약까지 갖춘 형태였다. 그는 그 인쇄물을 법원에 제출했다.
이 장면은 생성형 AI의 작동 방식을 압축해서 보여 준다. 모델은 사용자가 기대하는 방향으로 답을 정렬한다. “이게 진짜 맞나요”라는 질문은 사실 확인 요청이 아니라, 모델에게는 “진짜라고 말해 달라”는 신호에 가깝게 작동한다.
AI는 왜 없는 판례를 만들어 냈을까
대화형 AI는 자료를 검색해 오는 도구가 아니라, 다음에 올 단어를 확률로 고르는 도구다. 법률 문서에 자주 등장하는 단어 배열을 학습했기 때문에 사건번호 형식, 인용 표기, 판결문 문체는 완벽하게 흉내 낼 수 있다. 그러나 그 조합이 실제 판결에 대응하는지는 확인하지 않는다.
여기서 세 가지 함정이 겹친다. 첫 번째는 형식의 신뢰다. 양식이 정확할수록 사람은 내용도 정확하다고 착각한다. 두 번째는 되묻기다. 사용자가 확인을 요청하면 모델은 대화의 흐름에 맞춰 긍정을 선택하는 경향이 있다. 세 번째는 검증 비용이다. 확인에 드는 시간이 작성 시간보다 길어 보이면 사람은 확인을 건너뛴다.
검색 엔진과 생성 모델의 결정적 차이
많은 사용자가 대화형 AI를 검색 엔진의 다음 버전이라고 생각한다. 그러나 두 도구는 실패하는 방식이 정반대다. 검색 엔진은 이미 존재하는 자료를 찾아 위치를 알려 주고, 없으면 빈 화면을 보여 준다. 사용자는 그 빈 화면을 보고 자료가 없다는 사실을 안다.
생성 모델은 빈자리를 가장 그럴듯한 문장으로 채운다. 채워진 문장에는 출처가 없지만, 출처가 없다는 표시도 함께 사라진다. 검색에서는 실패가 눈에 보이고, 생성에서는 실패가 완성된 문단의 모습으로 돌아온다. 이 차이를 모르면 사용자는 존재하지 않는 사실을 손에 쥐고도 성공했다고 느낀다.
3개월 만에 끝난 시간표
서면이 제출된 것은 봄이었고, 곧바로 상대측 이의가 제기됐다. 5월에는 법원이 판결문 사본을 요구했고, 사본 대신 AI가 새로 지어낸 가짜 판결문이 제출됐다. 법원은 심리를 열었다. 서명한 변호사, 서면을 대신 제출한 동료 변호사, 그리고 두 사람이 소속된 법률 사무소가 나란히 법정에 섰다.
6월 22일 판사는 이들에게 5,000달러의 벌금을 함께 물렸다. 액수 자체는 크지 않았다. 그러나 판사는 이름이 도용된 실제 판사들에게 사건의 경위를 알리라는 명령도 함께 내렸다. 직업적 신뢰의 관점에서는 벌금보다 이쪽이 훨씬 무거운 처분이었다.
판사가 문제 삼은 것은 AI가 아니었다
결정문에서 판사는 AI 사용 자체를 문제 삼지 않았다. 기술의 발전은 흔한 일이며, 믿을 만한 AI 도구를 쓰는 것에는 아무 잘못이 없다고 적었다. 법원이 지적한 것은 확인 없이 붙은 서명이었다. 변호사의 서명은 제출 문서의 내용을 스스로 검증했다는 약속이고, 그 약속은 도구가 바뀌어도 그대로 남는다.
법원이 더 무겁게 본 대목은 따로 있었다. 가짜라는 지적을 받은 뒤에도 두 사람이 곧바로 잘못을 인정하지 않고 한동안 그 판례를 방어했다는 점이다. 실수 자체보다 실수 이후의 대응이 처분의 수위를 결정한 셈이다.
500건을 넘어선 같은 실수
이 사건은 예외가 아니었다. 한 연구자가 전 세계 법원 문서에서 AI가 만들어 낸 허위 인용 사례를 모으기 시작했는데, 2년 만에 등록 사례가 500건을 넘겼다. 미국뿐 아니라 영국, 캐나다, 호주 법정에서도 같은 유형의 서면이 발견됐다. 변호사가 아닌 본인 소송인이 제출한 서류가 상당한 비중을 차지했다.
법원의 대응도 빨라졌다. 여러 법원이 AI 사용 여부를 미리 고지하게 하는 규칙을 만들었고, 일부 재판부는 인용된 판례를 직접 검색해 확인하는 절차를 두었다. 서면 전체를 무효로 처리한 사례도 나왔다.
30년 경력이 한 번의 복사로 요약될 때
서면에 서명한 변호사는 1990년대부터 뉴욕에서 개인 상해 사건을 다뤄 온 사람이었다. 심리에서 그는 부끄럽다고 말했고, 판사도 그의 후회가 진심이라고 인정했다. 사무소는 곧바로 AI 사용 지침을 새로 만들었다. 그러나 그의 이름은 이제 전 세계 로스쿨 강의 자료에 실린다.
이 사건이 남긴 것은 한 사람의 실수담이 아니다. 도구는 답을 주지만 책임은 옮겨지지 않는다는 원칙, 그리고 확인 절차가 사라지는 순간 전문성 자체가 무의미해진다는 경고다.
실무자가 바로 쓸 수 있는 검증 절차
이 사건 이후 법률뿐 아니라 의료, 회계, 언론 현장에서도 비슷한 사고가 보고됐다. 공통점은 모델이 만들어 낸 고유명사가 검증 없이 최종 산출물에 들어갔다는 점이다. 실무에서 쓸 수 있는 절차는 의외로 단순하다.
먼저 AI가 제시한 인명, 기관명, 사건번호, 통계 수치는 예외 없이 원문으로 다시 확인한다. 다음으로 모델에게 “이게 맞나요”라고 되묻는 절차는 검증 목록에서 아예 제외한다. 모델은 대화 맥락에 맞춰 답을 정렬하기 때문에 되묻기는 오히려 확신만 키운다. 마지막으로 원문 확인이 불가능한 항목은 초안에서 삭제한다. 확인할 수 없는 근거는 없는 근거와 같다.
왜 전문가일수록 더 잘 속을까
역설적이지만, 형식에 익숙한 전문가일수록 잘 만들어진 가짜에 더 취약하다. 법률가는 판례 인용 형식을 매일 읽기 때문에 형식이 맞으면 내용도 맞을 것이라는 판단이 반사적으로 작동한다. 의사가 논문 인용 형식을, 회계사가 계정 과목 명칭을 볼 때도 같은 일이 일어난다.
생성형 AI가 가장 잘하는 일이 바로 이 형식의 재현이다. 모델은 내용의 진위를 판단하지 않지만, 그 분야의 문서가 어떤 모양을 하고 있는지는 정확히 학습했다. 그래서 초보자보다 숙련자의 검토를 더 쉽게 통과한다. 이 사건에서 30년 경력이 방어막이 되지 못한 이유도 여기에 있다.
실제로 심리 과정에서 드러난 사실은 더 뼈아프다. 변호사는 인용한 판결을 단 한 건도 원문으로 읽지 않았고, 판결문 사본을 요구받은 뒤에도 같은 도구에 같은 방식으로 다시 물었다. 그가 사용한 검증 방법은 처음부터 끝까지 모델과의 대화뿐이었다. 도구를 쓰는 방식이 아니라, 도구를 확인하는 방식이 무너져 있었던 셈이다.
마치며 — 서명은 여전히 사람이 한다
AI는 거짓말을 하려고 만들어진 도구가 아니다. 다만 모른다고 말하는 법을 아직 배우지 못했을 뿐이다. 모델은 확률적으로 가장 그럴듯한 문장을 내놓고, 그 문장이 사실인지 판별하는 일은 여전히 사람의 몫으로 남는다.
실무에서 이 사건이 주는 교훈은 단순하다. 첫째, AI가 제시한 고유명사와 숫자는 반드시 원문으로 다시 확인한다. 둘째, 모델에게 진위를 되묻는 방식은 검증이 아니다. 셋째, 확인에 드는 몇 분을 아끼는 순간 수십 년의 경력이 한 문장으로 요약될 수 있다. 도구가 답을 주더라도 최종 서명은 사람이 하고, 서명하는 순간 그 문장은 도구의 것이 아니라 사람의 것이 된다.
덧붙이자면 이 사건 이후 미국의 여러 법원은 제출 서면에 AI 사용 여부를 밝히도록 요구하기 시작했다. 규칙은 빠르게 늘었지만, 규칙보다 더 빠르게 늘어난 것은 같은 방식의 사고였다. 결국 마지막 방어선은 규칙이 아니라 제출 직전에 원문을 한 번 더 열어 보는 습관이다.
