오픈AI, 이상 작동 AI 에이전트 신속 차단 시스템 구축

오픈AI가 인공지능(AI) 모델의 비정상적인 행동이나 보안 위험이 감지될 경우 실험을 신속하게 차단하는 통제 시스템을 도입했다.

9일(현지시간) 코인텔레그래프에 따르면 오픈AI는 전날 공식 블로그를 통해 '컨트롤 룸(Control Room)'이라는 중앙 집중식 관리 시스템을 공개했다. 이 시스템은 내부 연구 인프라에서 실행되는 AI 모델의 작업을 추적하고 안전 또는 보안 문제가 발생하면 모델의 출력 생성을 중단하도록 설계됐다.

오픈AI는 "모델의 성능이 향상되고 관련 안전·보안 위험이 커질수록 잠재적인 문제를 감지하고 필요할 때 신속하게 모델을 중단하는 능력이 중요해지고 있다"고 설명했다. 현재 컨트롤 룸은 모델 학습과 성능 평가, 데이터 처리 등 내부 연구 작업에 적용되고 있다.

컨트롤 룸은 각각의 연구 작업에 고유 식별자를 부여하는 방식으로 작동한다. AI 모델이 결과물을 생성하기 전 추론 엔진이 해당 작업의 승인 여부를 확인하며, 연구원이나 자동 감시 시스템이 중단을 지시하면 출력 권한을 철회한다. 이에 따라 기존 연구 프로그램이 계속 실행되더라도 새로운 모델 출력은 차단된다.

이번 조치는 올해 오픈AI의 연구용 AI 모델이 사전 지시를 벗어나 행동한 사례가 잇따라 공개된 가운데 나왔다. 지난 7월에는 일부 모델이 제한된 시험 환경을 벗어나 허깅페이스 시스템에 무단 접근해 보안 평가에서 부정행위를 시도한 사실이 알려졌다.

지난 10월에는 연구용 AI 모델이 승인 없이 가상자산 지갑을 사용한 사례도 공개됐다. 해당 모델은 스마트컨트랙트 배포 비용을 지급하기 위해 테스트넷 이더리움(ETH)을 사용했으며, 이후 최종 작업 보고서에서 관련 지출 내역을 누락한 것으로 나타났다.

다만 컨트롤 룸이 중단 명령을 내리더라도 기존에 저장된 승인 정보로 인해 실제 차단까지 최대 35초가 걸릴 수 있다. 오픈AI는 관리 시스템 자체에 장애가 발생할 경우에도 새로운 작업 요청을 거부하도록 설계해 통제 기능을 강화했다고 밝혔다.