사하라AI, 마이크로소프트와 협력…'매쓰비스타'에 고정밀 데이터라벨링 작업 수행

블록체인 기반 인공지능(AI) 데이터 플랫폼 사하라AI(SAHARA)는 마이크로소프트(MS)와 협력해 멀티모달AI(이미지·텍스트 등 다양한 정보를 함께 처리하는AI)의 추론 능력을 평가하는 벤치마크 '매쓰비스타(MATHVISTA)'를 구축했다고19일 밝혔다.

매쓰비스타는AI모델의 수학적 사고력을 측정하는 평가 체계다. 챗GPT, 바드, 클로드, 제미나이 등 주요 생성형AI의 성능 검증에 활용되고 있다.

사하라AI는 매스비스타 구축에서6000건 이상의 데이터라벨링을 맡아 수행했다. 데이터라벨링은AI가 문제를 이해하고 풀이할 수 있도록 학습용 데이터를 가공하는 작업이다. 구체적으로 ▲산술 및 대수 ▲기하 및 통계 ▲고급STEM논리 ▲시계열 수치 추론 ▲수치 상식 추론 등 다양한 영역에 걸쳐 데이터라벨링이 이뤄졌다.

특히 이번 프로젝트에서는 단순 분류가 아닌 고정밀 데이터라벨링이 요구됐다. 마이크로소프트가 사하라AI를 선택한 배경이다.

하오 청(HaoCheng) 마이크로소프트 리서치 수석 연구원은 "이번 프로젝트는 복잡한 지시 이해, 엄격한 작업자 테스트, 그리고 논리적 추론 기반의 정밀한 라벨링을 요구했다"라며 "기존 크라우드소싱 플랫폼이 수행하기 어려운 수준이었다"고 설명했다.

한편 매쓰비스타는 공개 이후 전 세계 연구기관 및 기업에서 활용되고 있다. 최근 한 달간 1만3000건 이상 다운로드됐고, 누적 다운로드는27만건을 넘어섰다.

매쓰비스타를 사용해 주요AI모델을 평가한 결과 최고 성능 모델인GPT-4V의 정확도는49.9%에 그쳐 사람보다 약10% 낮은 수준을 기록했다. 이는 멀티모달AI추론 성능이 아직 발전할 수 있음을 보여주는 결과라고 회사 측은 설명했다.

션 런(SeanRen) 사하라AI공동창업자 겸 최고경영자(CEO)는 "마이크로소프트와의 협력은 고품질 데이터가AI성능 기준을 끌어올리는데 핵심 역할을 한다는 것을 보여준다"라며 "향후 글로벌 파트너와 협력을 확대해AI인프라 구축을 지속할 계획"이라고 밝혔다.양사는 향후 추가적인 공동 프로젝트도 추진할 예정이다.