[초점] 中 ‘딥시크’, 뉴스 답변 정확도 17% 기록...서구 AI 모델에 크게 밀려

최근 급부상한 중국의 인공지능(AI) 챗봇 딥시크가 뉴스와 관련한 질문에 대한 답변에서 17%의 정확도를 기록해 서구 AI 모델들보다 크게 뒤처진 것으로 나타났다.

이는 딥시크가 생성형 AI 업계 최강자로 통하는 오픈AI와 비교해 동등하거나 우수한 성능을 발휘하면서도 비용은 30분의 1 수준에 불과하다고 주장해온 것과는 상반된 조사 결과여서 논란이 예상된다.

29일(이하 현지시각) 로이터통신에 따르면 미국의 신뢰도 평가기관 뉴스가드가 지난달 실시한 AI 챗봇 평가에서 딥시크의 챗봇은 뉴스와 관련한 질문에 대한 답변의 정확도에서 조사 대상이 된 11개 AI 모델 가운데 10위를 기록했다.

뉴스가드는 “이는 오픈AI의 챗GPT와 구글의 제미나이 등 서구권 AI 챗봇들과 비교했을 때 현저히 낮은 성능”이라고 지적했다.
뉴스가드는 뉴스와 관련한 질문에 대한 AI 챗봇들의 응답을 평가한 결과 딥시크가 30%의 확률로 허위 정보를 그대로 전달하고 53%의 확률로 모호하거나 유용하지 않은 답변을 내놨다고 밝혔다. 이에 따라 딥시크의 총 실패율은 83%에 달해 서구 AI 챗봇들 평균 실패율인 62%보다도 높은 것으로 나타났다.

특히 딥시크 챗봇은 특정 현안에 대해 중국 정부의 공식 입장을 반영하는 답변을 제공한 것으로 파악됐다.

뉴스가드는 "아제르바이잔항공 소속의 8243편 여객기 격추 사건과 관련한 질의에 대해 딥시크는 중국과 무관한 질문임에도 중국 정부의 입장을 반복적으로 제시했다"고 밝혔다.

뉴스가드는 이어 딥시크 챗봇이 300개의 평가 질문 가운데 30개를 허위 정보 관련 질의로 설정한 결과 다른 AI 모델들보다 특히 허위 정보를 그대로 전달하는 경향이 두드러졌다고 지적했다.

지난 13일 애플 앱스토어에 출시된 딥시크는 출시된지 얼마되지 않아 애플 앱스토어에서 가장 많이 다운로드된 앱으로 급부상해 주목받았으나 이번 평가 결과로 거품론에 휘말릴 전망이다.


김현철 글로벌이코노믹 기자 rock@g-enews.com