카카오 '공짜 AI' 푼다…경량언어모델 4종 오픈소스로 공개

카카오가 스마트폰과 개인용 컴퓨터에서 구동할 수 있는 경량언어모델(SLM) 4종을 오픈소스로 공개했다. 한국어 처리 효율을 30% 이상 높이고 긴 대화를 처리할 때 필요한 메모리 사용량을 최대 72.7% 줄인 것이 특징이다. 개발자·기업은 상업용 서비스에도 활용할 수 있다.

카카오는 28일 인공지능(AI) 개발 플랫폼 허깅페이스에 자체 개발한 '카나나-2' SLM 4종을 공개했다고 밝혔다.

이번에 공개한 모델은 '카나나-2-1.3B-베이스', '카나나-2-1.3B-인스트럭트', '카나나-2-3B-베이스', '카나나-2-3B-인스트럭트'다. 모델 규모, 학습 방식에 따라 기본형·명령 수행형으로 나눴다.

SLM은 대형언어모델(LLM)보다 적은 메모리와 연산 자원으로 구동할 수 있다. 클라우드 서버를 거치지 않고 스마트폰이나 개인용 컴퓨터에서 AI 기능을 구현하는 온디바이스 환경에 적합하다.

카카오는 이번 모델들이 비슷한 크기의 최신 오픈소스 모델과 비교해 한국어, 영어, 지식, 수학, 코드 등 주요 평가에서 경쟁력 있는 성능을 기록했다고 설명했다. 카나나-2-1.3B-인스트럭트와 함께 개발한 0.9B 규모 모델도 대화, 지식, 코드, 수학, 지시 이행, 도구 호출 분야에서 큐원·젬마 등 글로벌 모델 대비 비슷한 수준의 성능을 보였다.

한국어 처리에 특화한 자체 토크나이저도 적용했다. 토크나이저는 AI가 문장을 처리할 수 있도록 텍스트를 작은 단위로 나누는 기술이다. 같은 문장을 더 적은 단위로 처리하면 연산 속도를 높이고 비용을 낮출 수 있다. 카카오는 지난해 개발한 토크나이저를 적용해 기존보다 한국어 처리 효율을 30% 이상 개선했다고 강조했다.

긴 대화를 처리하면서 메모리 사용량이 늘어나는 문제를 줄이기 위해 '슬라이딩 윈도 어텐션' 구조도 도입했다. 최대 3만2000토큰, 약 2만4000단어 분량의 대화에서도 메모리 사용량을 최대 72.7% 절감하면서 성능을 유지하도록 설계했다.

카카오는 공개 모델에 상업적 활용을 허용하는 '카나나 오픈 라이선스'를 적용했다. 개발자, 스타트업, 연구기관, 기업 등이 모델을 활용해 새로운 AI 서비스를 개발할 수 있도록 한다는 취지다.

카카오의 경량 모델은 현재 '카나나 인 카카오톡'과 카카오톡 대화·통화 요약, 'AI 국민비서' 등에도 활용되고 있다.

노병석 카카오 유니파이드 파운데이션 모델 성과리더는 "에이전틱 AI 시대를 준비하면서 클라우드의 대규모 AI와 온디바이스 경량 AI 모두의 중요성을 체감하고 있다"며 "카카오는 두 영역에서 기술 경쟁력을 높여가고 있고 이번 오픈소스 공개 모델들이 더 많은 개발자와 기업의 새로운 AI 서비스 개발로 이어져 국내 AI 생태계 활성화에 기여할 수 있기를 바란다"고 했다.

김대영 한경닷컴 기자 kdy@hankyung.com