"은행·가족 다 속았다"…챗GPT로 만든 'AI 아바타' 감쪽같네

챗GPT와 같은 생성 인공지능(AI) 기술이 보이스피싱 등 범죄에 악용될 수도 있다는 주장이 나와 주의가 요구된다. AI를 통해 특정인의 아바타를 만든 뒤 가족에게 접근하거나, 은행 계좌정보를 얻을 수도 있다는 것이다.

30일 관련 업계에 따르면 미국 월스트리트저널(WSJ)의 IT 칼럼니스트 조안나 스턴은 지난 28일(현지시간) "AI로 자신을 복제했는데 은행과 가족이 속았다"는 내용의 칼럼 게재했다.

스턴은 음성 AI 스타트업 일레븐랩스의 프로그램으로 '음성 아바타'를 만든 뒤 가족을 대상으로 자신의 실제 목소리와 구분할 수 있는지 시험했다. 그의 여동생은 AI로 생성된 목소리가 호흡을 위해 대화 중 멈추지 않는 점을 제외하면 진짜와 매우 흡사하다는 반응을 보였다. 스턴의 아버지는 사회보장번호를 묻는 AI 음성이 스턴 본인의 목소리가 아니라고 눈치채지 못했다.

스턴은 이 음성 아바타로 미국 대형은행의 신용카드 관련 고객서비스도 이용해봤다. 그 결과 개인 목소리를 구분하는 생체인식 시스템을 손쉽게 통과할 수 있었다. 자동응답시스템이 AI 음성을 스턴 본인의 목소리로 인식해 직원에게 연결해줬다는 것이다.

스턴은 이와 함께 영국 런던의 AI 스타트업 신세시아의 프로그램을 활용해 아바타도 만들었다. 그리고 아바타에 챗GPT로 생성한 대사를 입력해 자신 대신 동영상 공유 사이트나 화상회의에 출연시켰다. 그 결과 화상회의에선 지나치게 곧은 자세와 위트 부족으로 진짜 사람이 아니란 사실이 곧장 들통났다. 다만 상호작용이 상대적으로 적은 동영상 공유 사이트에선 비교적 쉽게 들키지 않았다고 그는 밝혔다.

스턴은 "신세시아 프로그램과 일레븐랩스 프로그램 모두 AI 아바타가 살해 위협을 비롯한 비윤리적이거나 문제가 될 수 있는 내용을 제한하지 않는다고"며 "실제 사람과 구분되지 않는 AI 아바타가 우후죽순 생겨나 온라인 세상을 더욱 혼탁하게 만들 위험성이 있다"고 경고했다.

최진석 기자 iskra@hankyung.com