돈 먹는 하마 AI, 다음 과제는 '비용 절감'

지난해에 이어 올해도 인공지능(AI) 돌풍이 계속되고 있다. 마이크로소프트(MS)는 AI 붐에 힘입어 애플을 제치고 시가총액 1위 기업으로 도약했으며, AI 반도체 대표 주자 엔비디아는 무려 아마존과 알파벳(구글의 모기업)을 제치고 시가총액 3위에 올랐다.

이처럼 AI가 세상을 빠르게 바꾸고 있지만, 정작 AI를 개발하거나 서비스 중인 기업들은 고민이 많다. AI 개발 및 운영을 위한 시스템을 구축하는 데에만 엄청난 초기 투자가 필요한데다, 유지관리에도 막대한 비용이 끊임없이 요구되기 때문이다.
오늘날 현대적인 기업들의 최우선 비즈니스 목표 중 하나가 ‘비용 절감’이다. 특히 AI는 불필요한 인력 낭비를 줄이고 기업 및 개개인의 생산성을 높여 결과적으로 비용 절감 효과를 발휘할 수 있는 기술로 각광받고 있다. 그만큼 AI의 구축과 유지관리에 들어가는 막대한 비용은 기업의 재무담당자 입장에서 고민거리가 될 수밖에 없다.

AI 기술이 ‘돈 먹는 하마’가 된 가장 큰 이유는 비싼 AI 칩 가격이다. 챗GPT의 대성공 이후 생성형 AI 붐이 일면서 글로벌 빅테크 기업부터 스타트업에 이르기까지 너나 할 것 없이 AI 반도체 사들이기에 나섰고, 엔비디아의 AI 칩은 수요 대비 공급이 턱없이 부족해 돈이 있어도 못 살 정도에 이르렀다.
지난해까지 엔비디아의 주력 AI 칩이었던 A100은 개당 공급 가격이 약 1만 달러(약 1400만원), 새로운 주력 AI 칩으로 떠오른 H100은 개당 최소 2만5000달러(약 3400만원)로 알려졌다. 이마저도 정상 공급가 기준이고, 업계 일각에서는 품귀 현상으로 인한 프리미엄으로 2배 이상 웃돈까지 붙어 거래되고 있다.

정상가 기준 H100칩만 1000개를 구입해도 무려 330억원이라는 투자 비용이 필요하다. 이를 장착할 서버와 데이터센터 구축·임대비용까지 더하면 초기 구축에만 수백억원 이상의 비용이 필요한 셈이다.

특히 추후 AI 데이터센터 규모를 확장할수록 그만한 비용이 추가로 들어간다. AI 칩을 더 많이 사용할수록 학습 시간을 단축하고 AI 성능을 높이기에 유리하기 때문이다.

운영에 필요한 막대한 에너지 비용은 더 큰 문제다. 성인 남성의 손바닥만 한 크기의 AI 칩 하나가 시간당 수백 와트(W)에 달하는 전력을 소비하는데, 이는 에어컨이나 전열기 한 대와 맞먹는 소비전력이다.

AI 데이터센터는 이러한 AI 칩을 최소 수천~수만 개씩 사용해 원하는 기능의 AI를 학습시키고 고객들에게 관련 서비스를 제공한다. 당연히 소비하는 전력도 어마어마할 수밖에 없다.

지난해 4월 시장분석기관 세미어낼리시스는 보고서를 통해 오픈AI의 챗GPT 서비스의 하루 운영 비용만 70만 달러(약 9억원)에 달하는 것으로 추정했다. 일각에서는 오픈AI가 지난해 초 MS로부터 투자받은 100억 달러의 대부분을 챗GPT의 운영비로 쓰고 있다는 주장도 나왔다. 최신 언어모델 GPT-4를 출시하고 사업 규모가 더욱 확대된 지금은 운영 비용이 더 늘었을 가능성이 높다.

지난해 말 MS가 자체 개발 AI 칩 ‘마이아(Maia) 100’과 ‘코발트(Cobalt) 100’을 발표한 것과, 샘 올트먼 오픈AI 최고경영자(CEO)가 최근 자체 AI 칩 개발 및 제조를 위해 전 세계를 동분서주하는 것도 에너지 소비 효율이 우수한 ‘AI 전용 칩’을 확보해 비용을 절감하기 위한 행보다.

월스트리트저널(WSJ)은 지난 9일 올트먼이 자사가 쓸 AI 반도체를 직접 조달하기 위해 5조~7조 달러(약 6600조~9300조원) 규모의 투자금 유치에 나섰다고 보도했다. 그는 이만한 자금 유치를 위해 중동의 유력 투자자들로부터 '오일머니'까지 펀딩받을 계획으로 알려졌다.

자체적으로 AI 전용칩을 확보하면 비싼 엔비디아 칩을 그만큼 덜 사도 되는데다, 처음부터 AI에 특화된 전용칩은 범용 연산장치인 그래픽처리장치(GPU) 기반 AI 칩보다 소비전력도 훨씬 낮기 때문에 AI의 구축 및 운영 비용을 대폭 절감할 수 있다.

구글과 아마존, 메타 등 이미 AI 산업을 주도하고 있는 글로벌 빅테크 기업들은 물론, 세계 각국의 AI 선도 기업과 스타트업들이 자체 AI 칩 개발을 시도하는 것도 같은 이유다.

지난해만 해도 누가 먼저 성능이 우수하고 혁신적인 AI를 선보이고 얼마나 빨리 상용화하는가가 경쟁 포인트였다면, 올해는 누가 더 비용 효율적이고 저렴한 AI 기술과 서비스를 제공할 것인지가 경쟁 포인트가 될 전망이다.


최용석 글로벌이코노믹 기자 rpch@g-enews.com