오픈AI, 챗GPT 오류 잡는 '크리틱GPT' 개발

오픈AI가 챗GPT의 오류를 감지하는 AI 모델 크리틱GPT(CriticGPT)를 개발했다고 28일 발표했다. 크리틱GPT는 챗GPT와 마찬가지로 GPT-4를 기반으로 개발됐다.

일본 IT 매체 기가진(gigazine)에 따르면 크리틱GPT는 챗GPT와 같은 채팅 AI를 사용하면 적은 조작으로 코드를 생성하거나 긴 텍스트를 만들 수 있다. 하지만 채팅 AI가 생성하는 코드나 문장에는 오류가 포함돼 있는 경우가 많으며, 챗GPT에서 생성한 코드를 그대로 사용한 결과 버그가 존재해 실제 피해를 입었다는 보고도 존재한다.
데이터 추출 서비스 스타트업 리워크드(Reworkd)의 공동 설립자인 아심 슐레스타가 챗GPT가 생성한 코드를 그대로 복사해 사용함으로써 많은 사용자들이 서비스에 가입하지 못해 1만달러(약 1400만원) 이상의 손실을 입었다고 주장했다.

이처럼 사용자들의 불만이 제기되자 오픈AI는 챗GPT의 오류를 감지하고 수정하는 AI 모델 '크리틱GPT'를 새롭게 개발했다. 크리틱GPT는 GPT-4를 기반으로 개발된 모델로, '수동으로 실수를 포함한 코드'와 '코드의 실수를 수정하는 문장'을 학습해 코드의 오류 감지 능력과 수정 능력을 강화했다.
크리틱GPT는 챗GPT가 생성한 코드를 실제 지적하고 대안을 제시한다.

실제 테스트 결과 인간이 혹은 인간이 크리틱GPT를 사용한 것보다 온전히 크리틱GPT로 코드를 분석한 것이 보다 완전성이 높은 것으로 나타났다.

'코드에 대한 비평에 사실과 다른 정보(환각)가 포함된 비율'을 비교했을 때도 크리틱GPT가 가장 우수한 결과를 나타냈다.

오픈AI는 "복잡해지는 AI 시스템을 조정하기 위해서는 더 나은 도구가 필요하다"며 앞으로도 크리틱GPT와 같은 AI의 결과물을 조정하는 도구를 개발할 것임을 밝혔다.


이상훈 글로벌이코노믹 기자 sanghoon@g-enews.com