조용히 폐기된 인공지능
세계 최대의 온라인 쇼핑 기업이 수년간 공들여 만든 자사의 인공지능을 어느 날 조용히 폐기했다면 믿겠는가. 이 인공지능에게는 남몰래 감춰 온 충격적인 비밀이 하나 있었다. 놀랍게도 이 채용 인공지능은 지원자의 이력서에서 여성이라는 단어를 발견할 때마다 슬그머니 점수를 깎고 있었다. 누구도 그렇게 하라고 시킨 적이 없었는데 말이다. 세상에서 가장 똑똑한 개발자들이 만든 인공지능은 대체 왜 스스로 여성을 밀어내기 시작했을까. 2018년 세상에 알려진 이 사건은 인공지능이 얼마나 쉽게 편견을 배울 수 있는지를 보여 준 대표적인 사례로 남았다. 공정을 꿈꾸며 만든 기술이 어떻게 차별의 도구가 되었을까. 이 이야기는 인공지능을 다루는 모든 사람에게 여전히 무거운 질문을 던진다.
채용을 맡기려던 꿈
때는 2014년, 이 거대 기업은 채용에 걸리는 어마어마한 시간과 노력에 골머리를 앓고 있었다. 전 세계에서 쏟아지는 수십만 장의 이력서를 사람이 일일이 검토하는 일은 사실상 불가능에 가까웠다. 그래서 회사는 대담한 꿈을 꾸기 시작했다. 인공지능에게 이력서를 대신 읽히고 가장 뛰어난 지원자를 자동으로 골라내게 하겠다는 것이었다. 마치 별점을 매기듯 인공지능이 지원자 한 명 한 명에게 점수를 매기는 방식이었다. 사람보다 빠르고 감정에 휘둘리지 않으며 오직 실력만 본다는 공정한 인공지능, 그 꿈은 더없이 매력적으로 보였다. 많은 사람들이 인공지능이라면 사람보다 훨씬 객관적일 것이라 기대했다. 그러나 이 원대한 꿈은 뜻밖의 짙은 그림자를 품고 있었다.
학습 데이터의 함정
이 인공지능을 똑똑하게 만들기 위해 회사는 과거의 데이터를 잔뜩 먹였다. 지난 10년 동안 회사에 들어온 이력서와 그 지원자들이 실제로 어떤 평가를 받았는지가 통째로 학습 재료가 되었다. 인공지능은 그 방대한 기록에서 좋은 지원자의 특징을 스스로 찾아내야 했다. 얼핏 보기엔 완벽한 방법처럼 보였다. 인공지능은 과거의 성공 사례에서 규칙을 배우는 데 뛰어나기 때문이다. 그런데 바로 이 학습 데이터 속에 아무도 미처 생각하지 못한 함정이 깊이 숨어 있었다. 지난 10년의 기록은 결코 공정하지 않았다. 과거의 데이터는 과거의 세상을 그대로 담고 있었고, 그 세상에는 이미 오래된 불균형이 새겨져 있었다.
데이터에 새겨진 편견
함정의 정체는 놀라울 만큼 단순했다. 지난 10년 동안 이 회사의 기술 분야에 지원하고 실제로 뽑힌 사람들은 대부분 남성이었다. 인공지능은 이 치우친 기록을 그대로 진리처럼 받아들였다. 그리하여 남성 지원자가 더 우수하다는 잘못된 결론을 스스로 내려 버렸다. 그때부터 인공지능은 이력서에 여성이라는 단어가 들어가면 슬그머니 점수를 깎기 시작했다. 예를 들어 여성 동아리의 회장을 지냈다는 경력마저 감점 요인이 되었다. 심지어 여자대학교의 이름이 적힌 이력서까지 불이익을 받았다. 인공지능에게는 악의가 전혀 없었다. 그저 사람들이 오랜 세월 쌓아 온 과거의 편견을 아무런 의심 없이 그대로 배운 것뿐이었다. 편견은 코드가 아니라 데이터를 통해 조용히 스며들었다.
뒤늦은 발견
회사의 기술자들은 뒤늦게 이 심각한 문제를 발견하고 큰 충격에 빠졌다. 당시 상황을 잘 아는 한 관계자는 인공지능이 정말로 공정한지 더는 확신할 수 없었다고 털어놓았다. 기술자들은 여성이라는 단어를 무시하도록 인공지능을 서둘러 손보았다. 하지만 문제는 그리 간단하지 않았다. 인공지능이 또 어떤 방식으로 여성을 몰래 차별하고 있을지 누구도 완전히 장담할 수 없었기 때문이다. 편견은 생각보다 훨씬 교묘하게 숨어 있었다. 하나의 단어를 가려도 인공지능은 다른 미묘한 단서를 통해 같은 편향을 되풀이할 수 있었다. 결국 겉으로 드러난 문제 하나를 고치는 것만으로는 근본적인 해결이 되지 않았다.
무엇이 잘못됐나
이 씁쓸한 실패는 여러 원인이 한꺼번에 겹친 결과였다. 첫 번째로, 인공지능이 배운 과거의 데이터 자체가 이미 남성 쪽으로 크게 기울어 있었다. 두 번째로, 인공지능은 그 치우친 기록이 옳은지 그른지를 스스로 판단할 능력이 전혀 없었다. 세 번째로, 사람들은 인공지능이라면 당연히 공정할 것이라고 지레짐작했다. 이 세 가지가 맞물리자 공정을 꿈꾸며 만든 인공지능이 오히려 차별을 더 깊고 은밀하게 만드는 도구로 돌변했다. 편견이 담긴 데이터로 배운 인공지능은 그 편견을 그대로 되풀이할 수밖에 없었다. 더 무서운 것은 인공지능의 차별이 숫자와 점수라는 객관적인 옷을 입고 있어, 사람의 편견보다 오히려 발견하기 어려웠다는 점이다.
꿈과 현실의 간극
이 인공지능의 꿈과 현실은 그야말로 정반대였다. 처음에 사람들이 기대한 것은 감정에 휘둘리지 않고 오직 실력만 보는 완벽하게 공정한 심사관이었다. 인공지능이라면 사람이 가진 낡은 편견에서 자유로울 것이라 굳게 믿었기 때문이다. 그러나 실제로 드러난 모습은 과거의 차별을 그대로 물려받은 편향된 심사관이었다. 공정의 상징이 되리라 기대했던 기술이 알고 보니 차별을 더욱 그럴듯하게 포장하고 있었다. 가장 객관적일 것이라 믿었던 인공지능이 사실은 가장 낡은 편견을 마음속에 품고 있었던 셈이다. 이 뼈아픈 반전은 인공지능이 결코 저절로 공정해지지 않는다는 사실을 분명히 보여 주었다.
감춰졌던 실패의 시간표
이 조용한 실패를 시간순으로 따라가 보자. 2014년 회사는 이력서를 자동으로 평가하는 인공지능 개발에 처음 착수했다. 그로부터 얼마 지나지 않은 2015년 무렵 기술자들은 인공지능이 여성 지원자에게 불리하게 점수를 매긴다는 사실을 알아챘다. 회사는 문제를 고쳐 보려 애썼지만 끝내 인공지능의 공정성을 확신할 수 없었다. 결국 2017년 회사는 이 프로젝트를 조용히 접었다. 그리고 2018년 이 은밀했던 실패가 마침내 세상에 알려지며 큰 반향을 일으켰다. 오래 감춰졌던 인공지능의 그림자가 그렇게 만천하에 드러났다. 이 사건은 인공지능의 편향 문제를 전 세계가 진지하게 논의하게 만든 결정적인 계기가 되었다.
인공지능이라는 거울
이 사건은 인공지능을 다루는 모든 사람에게 묵직한 교훈을 남겼다. 한 인공지능 윤리 전문가는 인공지능이 우리가 준 데이터를 그대로 비추는 거울일 뿐이라고 정리했다. 인공지능은 스스로 옳고 그름을 판단하지 못한 채 과거에 담긴 편견까지 고스란히 물려받는다. 그래서 인공지능이 내리는 결정이 정말로 공정한지 사람이 곁에서 끊임없이 살펴야 한다. 특히 사람의 인생이 걸린 채용 같은 영역일수록 더더욱 그렇다. 이 값비싼 실패가 데이터에 숨은 편견을 반드시 경계해야 한다는 교훈을 온 세상에 남겼다. 인공지능을 공정하게 만들려면 먼저 그것이 배우는 데이터부터 공정한지 살펴야 한다는 것이다.
숫자로 보는 편향
이 은밀한 실패를 숫자로 정리하면 그 무게가 더욱 또렷해진다. 인공지능이 학습한 이력서는 무려 지난 10년 치에 달했다. 그 방대한 기록 속 기술직 합격자는 대부분 남성이었다. 그리고 이 인공지능이 남몰래 감점한 것은 다름 아닌 여성이라는 단 하나의 단어였다. 회사는 결국 이 프로젝트를 통째로 폐기하는 것 말고는 다른 길을 찾지 못했다. 차가운 숫자 뒤에는 편견이 담긴 데이터가 얼마나 위험한지를 보여 주는 뼈아픈 교훈이 깊이 남았다. 아무리 방대한 데이터라도 그것이 한쪽으로 기울어 있다면, 인공지능은 그 기울기를 그대로 학습해 되풀이한다.
더 공정한 AI를 향하여
오늘날 이 사건은 인공지능의 편향을 이야기할 때 결코 빠지지 않는 대표적인 사례가 되었다. 이 실패 이후 수많은 기업과 연구자가 인공지능의 공정성 문제를 훨씬 진지하게 들여다보기 시작했다. 인공지능에게 데이터를 먹이기 전에 그 데이터가 어느 한쪽으로 치우쳐 있지 않은지 꼼꼼히 살피는 문화가 자리 잡았다. 또한 인공지능의 결정을 무조건 믿기보다 그 판단이 특정 집단에 불리하지 않은지 검증하는 절차도 널리 퍼졌다. 값비싼 실패였지만 이 사건이 남긴 교훈은 이후 더 공정한 인공지능을 향한 소중한 출발점이 되었다. 인공지능은 결국 우리가 건넨 데이터를 비추는 거울이다. 우리가 공정한 데이터를 주면 공정하게 판단하고, 편견이 담긴 데이터를 주면 그 편견을 그대로 되풀이한다. 아무리 똑똑한 기술이라도 무엇을 배우느냐에 따라 전혀 다른 얼굴을 갖게 된다. 그래서 우리는 인공지능에게 어떤 세상을 가르칠 것인지 끊임없이 물어야 한다.
데이터 편향은 어떻게 막을까
아마존의 사례가 던지는 가장 실질적인 질문은 데이터에 숨은 편향을 어떻게 막을 것인가이다. 인공지능은 과거 데이터에서 규칙을 찾아 학습하는데, 그 데이터가 특정 집단에 치우쳐 있으면 인공지능은 그 치우침을 그대로 배운다. 따라서 편향을 막는 첫걸음은 학습 데이터가 균형 잡혀 있는지 꼼꼼히 점검하는 것이다. 특정 성별이나 집단이 지나치게 적거나 많지 않은지, 과거의 차별이 데이터에 스며 있지 않은지를 살펴야 한다. 다음으로 인공지능이 실제로 어떤 기준으로 결정을 내리는지 투명하게 들여다볼 수 있어야 한다. 인공지능이 왜 그런 점수를 매겼는지 사람이 이해할 수 있어야 숨은 편향을 발견할 수 있기 때문이다. 마지막으로 인공지능의 결정을 사람이 최종적으로 검토하는 절차가 필요하다. 특히 채용처럼 사람의 인생이 걸린 결정에서는 인공지능을 참고 도구로만 쓰고, 최종 판단은 사람이 책임지는 것이 안전하다. 아마존의 인공지능은 이런 안전장치가 충분하지 않았기에 편향을 걸러 내지 못했다. 오늘날 인공지능의 공정성 연구는 이 사건을 중요한 출발점으로 삼아 크게 발전했다. 그럼에도 완벽하게 공정한 인공지능은 여전히 존재하지 않는다. 결국 인공지능을 공정하게 쓰는 열쇠는 기술 자체가 아니라, 그것을 만들고 감독하는 사람의 끊임없는 관심과 책임에 달려 있다. 흥미롭게도 아마존의 사례는 인공지능이 오히려 우리 사회의 숨은 불균형을 비춰 주는 거울이 될 수도 있음을 보여 준다. 인공지능이 특정 집단을 차별한다면, 그것은 그 집단이 과거에 어떤 대우를 받아 왔는지를 데이터가 고스란히 기록하고 있다는 뜻이기 때문이다. 그런 의미에서 이 사건은 단순한 기술 실패가 아니라, 우리가 오랫동안 외면해 온 현실을 마주하게 한 계기이기도 했다. 더 공정한 인공지능을 만드는 일은 결국 더 공정한 데이터를 만드는 일이며, 그것은 곧 더 공정한 사회를 만드는 일과 맞닿아 있다.
