엄청난 속도의 AI 시대...'차근차근 생각'이 전략 [긱스]

이창수 올거나이즈 대표 기고

챗GPT 열풍입니다. 인공지능(AI) 전문가는 물론 개인들도 업무를 비롯한 일상에서 챗GPT를 활용하는 사례가 늘면서 어떻게 하면 더 빠르고, 더 친절한 답변을 얻을 수 있을 지 등 '질문의 기술'에 대한 궁금증도 커지는데요. GPT 시스템의 추론 능력을 극대화하는 프롬프트(명령어) 속 마법의 표현은 다름 아닌 'step-by-step(차근차근 단계적으로)'라고 합니다. GPT 모델이 CoT(Chain-of-Thought·생각의 연결고리)를 통해 추론해내는 방법으로 작동하기 때문입니다. AI의 효과적인 사용법을 고민해온 올거나이즈의 이창수 대표가 생성형 AI의 생산적 활용전략을 한경 긱스(Geeks) 독자들에게 전합니다.

인공지능(AI) 스타트업들에게 지난 3월 한달은 위기와 기회가 교차하는 시간이었다. 챗GPT가 등장한 것이 불과 5개월 전인데, 텍스트뿐만 아니라 이미지 입력까지 가능한 GPT-4가 3월14일에 출시됐다. 그 후 빅테크 기업들의 제품도 쏟아졌다. 3월16일 마이크로소프트의 오피스365 코파일럿(Copilot) 출시 발표, 21일 구글의 바드(Bard)와 어도비의 파이어플라이(Firefly), 23일에는 챗GPT 플러그인(Plugins) 발표까지, 숨가쁜 2주였다.

AI 스타트업 종사자뿐만 아니라 수많은 직장인들과 학생 또한 AI 기술에 대한 관심이 많다. 한국언론진흥재단의 '챗GPT 이용 경험 및 인식' 조사에 따르면 챗GPT가 '우리 삶에 큰 영향을 미칠 것'이라 생각하는 응답자가 10명 중 8명이 넘는다고 한다. 정보 검색의 미래 또한 '생성형 AI가 주도할 것'(66.7%)이라는 쪽이 '검색엔진 등이 계속 주도할 것'(33.3%)에 비해 2배 정도 많은 선택을 받았다. 이는 사용자들의 검색 패턴과 습관이 키워드에서 서술형 질문(자연어)으로 넘어가는 주목할 만한 지점이다.

지난 2월 올거나이즈가 삼쩜삼과 함께 만든 '연말정산 알리GPT' 운영 결과, 사용자의 검색 패턴이 이전과 완전히 달라진 것을 볼 수 있었다. 서술형 질문 대 키워드 검색이 7대 3 정도의 비율로 나타난 것이다. 기존 검색은 알고 싶은 것에 대한 키워드를 넣고, 답변이 될 만한 후보 문서들이 나오면 링크를 눌러가면서 웹페이지를 훑어 답을 찾았다. 이제는 알고 싶은 내용 자체를 자연스러운 문장으로 질문하면, 이해하기 쉽게 정보를 서술한 답이 나온다는 것을 사람들이 체험하면서 정보 검색의 미래도 생성형 AI의 손을 들어주고 있는 것으로 보인다.

직접 써보고 성능을 느껴본 만큼, 활용도에 대한 대중적 관심도 커졌다. 챗GPT에 대해 책, 유튜브 영상, 강의, 모임 등이 쏟아지고 있다. '챗GPT'가 온라인 서점의 실시간 검색어 1위를 차지하기도 하고, 이미 국내 도서만 70권 넘게 출판됐다.

올거나이즈는 기업의 문서를 AI로 이해하고 처리해 답변을 제공하는 기업 간 거래(B2B) 솔루션을 만들면서 AI를 어떻게 효율적으로 사용할지에 대한 고민을 지속적으로 해 왔다. 기업의 문서를 자연어로 검색하고 답을 찾아 보여주는 알리(Alli) 솔루션에 챗GPT의 논리적인 답변 생성 및 정보 요약 능력을 접목해 '알리GPT'라는 서비스를 출시하고, 챗GPT 플러그인도 제출하면서 빠르게 기술을 적용해나가고 있다. 올거나이즈는 소프트웨어 조직과 별도로 AI 연구 개발 조직을 두고 있는데, 여러 AI 엔지니어들과 함께 리서치와 적용 사례를 통해 경험한 활용할 수 있는 방안을 공유해보려 한다.

챗GPT 내부에 담긴 기술 대부분은 완전히 새로운 기술이 아니다. 챗GPT는 오픈AI의 거대 언어모델 GPT-3.5를 미세하게 조정한 버전이며, GPT-3.5 자체는 2020년에 출시된 GPT-3를 업그레이드한 버전이다. 챗GPT는 '인간 피드백을 통한 강화학습(reinforcement learning from human feedback, 이하 RLHF)'이라는 기술이 사용됐다. RLHF의 기본적인 아이디어는 인간 사용자가 실제로 선호하는 반응이 무엇인지 가르치는 방식을 통해 해당 언어모델을 조정하는 것이다.

GPT-3과 달리 GPT-3.5가 놀라운 성능을 보이는 이유로 흔히 RLHF를 꼽는다. 그런데 RLHF만이 큰 차이를 만들어낸다면, 오픈AI나 구글처럼 거대 언어모델을 만드는 회사가 아닌, 올거나이즈처럼 애플리케이션 단계에서 AI를 활용해 서비스를 만드는 곳들은 AI 수준에서의 기술적 차별화를 보여주기 어렵다는 이야기가 된다. 결론부터 말하자면 애플리케이션 서비스 회사들도 기술적으로 제어 가능한 영역이 있을 거라고 본다.

GPT(generative pre-trained transformer)는 문장을 자연스럽게 생성하고, 일반 상식을 잘 알고 있으며, 비윤리적이거나 폭력적인 질문에 답하지 않고 안전하게 답변을 생성하며, 문맥 내 학습(in-context learning)을 잘한다. 이 능력들은 엄청난 코퍼스(corpus, 말뭉치)로 학습했거나, 모델 사이즈가 엄청나게 크거나 RLHF를 통해 강화된 능력이 맞다. 즉, 오픈AI가 아닌 외부에서 제어할 수 있는 부분이 아니다.

그러나 한 가지, 우리가 활용할 수 있는 부분이 있다. 바로 GPT의 추론 능력이다. GPT-4를 살펴보면 특히 수학, 논리 분야에서 성능이 비약적으로 개선된 것을 알 수 있다. GPT-4 기술 문서의 수학, 논리 예시에서 프롬프트를 살펴보면, "단계별로 차근차근 생각해봐(Think about it step-by-step).", "답을 내기 전에 단계별로 차근차근 추론해서 근거를 제시해봐(Provide a step-by-step reasoning before providing your answer)." 같은 문장이 나오는 것을 볼 수 있다. 바로 GPT-4의 추론 능력을 극대화하는 프롬프트들이다. 이러한 프롬프트들은 GPT 모델이 CoT(Chain-of-Thought)를 통해 추론을 잘 해내기 때문에 쓰이게 됐다.

왜 CoT를 활용하면 추론 능력이 뛰어나게 될까? 트랜스포머 모델의 특성상 모두 연결돼 있긴 하지만 장거리보단 단거리의 디펜던시(의존성)가 중요해서 한 단계씩 계단을 올라가듯 순차적으로 이어가는 것이 이 모델의 추론 능력을 극대화할 수 있기 때문이다. 프롬프트 실험을 여러 번 해보면서 CoT를 못하도록 막으면 계속해서 틀린 답을 내놓는 것도 볼 수 있다. 특히 복잡한 추론이 필요한 문제일때 CoT를 하는 것과 하지 않는 것의 차이는 엄청나다.

일반인도 언제나 웹에서 쉽게 접속할 수 있는 챗GPT는 무료임에도 불구하고 엄청난 성능을 보여주고 있다. 앞으로 거대 언어모델의 경쟁은 더 치열해질 것이고, AI 인프라를 활용할 기회는 더 크게 열릴 것으로 보인다.

챗GPT 를 실제 업무에 사용해 도움을 받기 위해서는 다른 인프라 스트럭쳐와의 연동이 필요한 경우가 많고, 다른 종류의 AI 모델을 파이프라인에 연결해야만 실제 고객에게 전달되는 결과가 개선되는 경우가 많다.

다만, GPT 모델의 성능을 극대화하는데 CoT를 잘 활용하는 게 도움이 되는 건 확실하다. CoT가 모든 문제를 해결해 줄 것이라는 말이 아니라, 활용할 수 있는 좋은 전략 중 하나라는 의미이다. 문제를 단계별로 나누고, 문제를 해결할 수 있는 방법에 대한 몇 가지 예시를 포함하고, "차근차근 생각해봐"라든가 "다시 한번 생각해봐" 같은 CoT를 포함해 프롬프트를 입력하면, 거대 언어모델이 문제를 더 잘 해결하고, 더 나은 결과물을 만들어줄 것이다.

결국 AI 활용의 핵심은 기업이든 개인이든 '생산성을 어떻게 올릴 것인가'에 대한 고민으로 이어지는 듯하다. 프롬프트에 관련된 책과 강의가 쏟아져나오고 있는데, 실제 관련 솔루션을 만들면서 느낀 점은 결국 프롬프트도 최적화가 필요하다는 것이다. AI를 쓰는 개인의 목적, AI 솔루션을 도입하는 기업의 특성에 따라 최적화의 방향과 전략도 달라지게 된다.

또 개인 차원의 프롬프트 전략과 기업 솔루션 차원의 전략은 다를 수밖에 없다. 올거나이즈는 기업 생산성 혁신을 위한 실험을 지속하고 있으며, AI 엔지니어링과 프롬프트 노하우를 업무용 AI 솔루션 '알리GPT'로 제공하고 있다. AI 스타트업들은 이제 AI 외의 뾰족한 플러스 알파를 각기 만들어내야 생성형 AI의 거대한 파도에서 살아남을 수 있을 것으로 보인다. 모두에게 열려 있는 이 기회가 다음 파도에 어떻게 영향을 미칠지 기대가 되는 하루를 보내고 있다.

이창수 올거나이즈 대표

KAIST 컴퓨터 사이언스 석·학사를 졸업한 이창수 대표는 AI 분야 연쇄창업자입니다. 대학 졸업 후 대기업에서 근무하다 창업 전선에 뛰어들었습니다.

2010년 데이터 분석업체 파이브락스를 창업해 4년 만에 미국 탭조이에 매각한 뒤 탭조이의 수석부사장으로 일했습니다. 업계에서는 성공적인 엑시트 사례로 평가받고 있습니다.

탭조이에서 일하던 중 또다시 회사를 뛰쳐나와 2017년 미국 실리콘밸리에서 올거나이즈를 창업했습니다. 올거나이즈는 인지검색 솔루션과 답변봇 'Alli(알리)'로 기업 고객과 직원의 검색 시간을 줄이고 있습니다. 인지검색 솔루션은 사용자가 질문하면 AI가 문서에서 답을 찾아주는 기술입니다.