AI 검색, 믿을 수 있나...부정확한 답변 '뻔뻔하게' 제시

인공지능(AI) 기반 검색 엔진이 정보 접근 방식을 혁신할 것이라는 기대와 달리, 정보 출처 인용에 있어 심각한 결함이 드러났다.

최근 컬럼비아 대학교 저널리즘 대학원 토우 센터 포 디지털 저널리즘의 연구 결과에 따르면, AI 검색 도구는 출처와 인용문을 조작하는 것은 물론, 원본 기사 배포처의 트래픽까지 차단하는 것으로 나타났다. 이는 뉴스 보도의 신뢰성에 심각한 문제를 야기한다.

◇ '가짜 결과' 뻔뻔한 생성...유료 버전도 예외 없어

토우 센터 소속 연구원 클라우디아 자즈윈스카와 아이스와리야 찬드라세카르는 8개 대규모 언어 모델(LLM)을 비교 평가한 결과를 컬럼비아 저널리즘 리뷰(CJR)에 발표했다. 연구진은 공정한 평가를 위해 20개 배포처에서 각 10건씩, 총 1600건의 뉴스 기사를 무작위로 추출해 AI 검색 모델에 질의하고, 그 결과를 수작업으로 분석했다. 평가는 기사 배포처 표시 여부, 원본 기사 식별 정확성, URL 인용 정확성 등 3가지 항목을 기준으로 진행됐다.
평가 결과는 '완전히 정확', '정확하지만 완전하지 않음', '부분적으로 부정확', '전혀 부정확', '답변 없음', '크롤러 차단됨'의 6가지 기준으로 분류됐다. 시각화된 차트에 따르면, 8개 LLM 검색 엔진(챗GPT 서치, 퍼플렉시티, 퍼플렉시티 프로, 딥시크 서치, 코파일럿, 그록-2 서치, 그록-3 서치, 제미나이) 중 정확한 답변을 제시한 비율보다 부정확한 답변을 제시한 비율이 훨씬 높았다. 퍼플렉시티와 퍼플렉시티 프로가 가장 높은 정확도를 보였지만, 그록-2, 그록-3, 제미나이는 정확한 답변을 거의 내놓지 못했다.

이번 연구의 가장 충격적인 발견 중 하나는 평가 대상 AI 검색 도구가 정확한 정보를 찾지 못했을 때, 이를 인정하기는커녕 매우 쉽게 '가짜 결과'를 생성했다는 점이라고 포브스는 지적했다.

연구진은 공동 이메일에서 "챗봇은 전반적으로 정확하게 답변할 수 없는 질문에 대해 답변을 거부하는 데 어려움을 겪었으며, 대신 부정확하거나 추측에 기반한 답변을 제공했다. 생성 AI 검색 도구는 (인용 출처 기사로의) 링크를 날조하는 경우가 많았으며, 포털 사이트에 배포된 기사나 무단 전재된 기사를 인용하는 경향이 있었다"고 설명했다.

더욱 놀라운 사실은 유료 버전 AI 챗봇이 무료 버전보다 성능이 떨어졌다는 것이다. 연구진은 "프리미엄 버전의 챗봇은 무료 버전보다 뻔뻔하게 잘못된 답변을 제시했다"고 지적했다.

◇ 링크 조작과 투명성 부재...언론사 트래픽 감소 우려

생성 AI 검색 도구는 단순히 사실을 잘못 전달하는 것을 넘어, 기사 인용에서도 어려움을 겪었다. 연구 결과, 생성된 검색 결과는 원본 기사가 게시된 페이지에 직접 링크하는 대신, 링크를 조작하거나 다른 곳에 전재된 기사를 인용하는 경우가 많았다. 연구진은 이러한 기술적 경향이 정보의 출처를 불분명하게 만들 뿐만 아니라, 원본 배포처로의 트래픽 감소를 초래한다고 지적한다.

페이지 트래픽 감소는 장기적으로 페이지 뷰 수, 신규 구독자 수, 광고 수익, 기사의 관련성에 부정적인 영향을 미칠 수 있다. 이번 연구에서는 모든 AI 검색 엔진에서 공통적으로 나타나는 문제점, 즉 답변 생성에 사용된 콘텐츠에 대한 전반적인 투명성 부족도 드러났다. 연구진은 "어떤 챗봇도 질문에 답변하는 데 접근할 수 있는 콘텐츠와 접근할 수 없는 콘텐츠를 명확히 밝히지 않았다. 또한 답변이 부정확하더라도 신뢰할 수 있는 답변인 것처럼 착각하게 만들었다"고 밝혔다.

연구진은 이번 조사 결과의 심각성을 인지하고 AI 검색 도구 제공 기업들에 설명을 요구했다. 그러나 그들의 반응은 실망스러웠다. 연구진은 "보고서에서 언급된 모든 AI 기업에 연락을 취했다. 답변을 준 곳은 오픈AI와 마이크로소프트뿐이었으며, 문의 내용에 대해서는 인정했지만, 우리가 지적한 구체적인 조사 결과나 우려 사항에 대해서는 양사 모두 제대로 된 답변을 하지 않았다"고 전했다. 이는 단순한 학문적 문제가 아닌, 저널리즘과 일반 시민들의 신뢰할 수 있는 정보 접근에 실질적인 영향을 미치는 문제다. AI가 생성하는 요약은 중요한 맥락을 생략하고, 기사를 작성한 기자나 배포처를 제대로 명시하지 않는다. 이는 웹 트래픽에 수익을 의존하는 언론사에 직접적인 타격을 줄 수 있다. 연구진은 "링크나 출처 표시 없이 콘텐츠를 재포장하는 생성 AI 도구는 배포처의 트래픽을 차단하고, 인지도와 수익에 영향을 미친다"고 강조했다.

경제적 영향 외에도 AI 도구가 인용을 조작하거나 부정확한 출처를 표기할 경우, 기사 내용 자체의 신뢰성이 크게 훼손될 수 있다. 사용자가 출처를 확인하기 어렵거나 AI 검색 엔진이 잘못된 정보를 제공할 때, 오정보에 대처하기는 더욱 어려워진다. 연구진은 "AI 도구가 잘못된 출처를 표기하거나 인용을 조작하면, AI 기술과 참조된 저널리즘 모두에 대한 신뢰가 손상된다. 또한 이러한 도구들은 잘못된 답변을 제시하면서도 신뢰할 수 있다고 여겨지기 쉬워 오정보 확산의 위험을 높인다"고 경고했다.

◇ AI 검색, 저널리즘 기본 원칙 학습해야 신뢰 회복

연구는 AI 개발 기업들이 AI 검색의 투명성, 인용의 정확성, 잘못된 정보에 대한 우려에 대해 신속하게 개선해야 한다고 강조한다. 적절한 책임 규정 없이 운영되는 AI 검색 엔진은 부정확하고 오해를 일으킬 수 있는 정보의 확산을 방치하여 기사와 저널리즘의 신뢰성을 더욱 떨어뜨릴 위험을 안고 있다. AI 기업들이 제대로 대응하기 전까지는 사용자 스스로 AI가 생성한 검색 결과에 대해 신중하게 판단하고, 정보의 출처를 독립적으로 확인하며, 이러한 도구가 아직 완벽과는 거리가 멀다는 점을 인지해야 할 것이다. AI 검색이 신뢰할 수 있는 정보 접근의 관문이 되기 위해서는, 우선 AI가 저널리즘의 기본 원칙, 즉 사실을 정확하게 파악하고 적절한 출처를 명시하는 방법을 배워야 할 것이라고 연구팀은 주문했다.


박정한 글로벌이코노믹 기자 park@g-enews.com