AI, '더 큰 것이 더 좋다'는 시대 종말?...오픈AI, 새로운 AI 훈련 기법 모색

인공지능(AI) 업계의 선두 주자인 오픈AI가 기존의 AI 모델 개발 방식에서 벗어나 새로운 길을 모색하고 있다.
로이터통신은 11일(현지시각) 오픈AI를 비롯한 AI 기업들이 '더 큰 것이 더 좋다'는 기존의 패러다임의 한계에 직면하며, 인간의 사고방식을 모방하는 새로운 훈련 기법 개발에 주력하고 있다고 보도했다.

지금까지 AI 업계는 더 많은 데이터와 컴퓨팅 파워를 투입하여 모델의 규모를 키우는 '스케일링' 전략을 통해 AI 성능을 향상시켜왔다. 2년 전 챗GPT의 등장 이후 촉발된 AI 붐은 이러한 경향을 더욱 가속화시켰다. 하지만 최근 이러한 접근 방식의 한계가 드러나면서, AI 기업들은 새로운 돌파구를 찾기 위해 노력하고 있다.

로이터통신에 따르면 AI 연구실 세이프 슈퍼인텔리전스(Safe Superintelligence-SSI)의 공동 창립자인 일리야 수츠케버는 최근 로이터와의 인터뷰에서 "사전 훈련 규모 확대를 통한 AI 성능 향상은 한계에 도달했다"고 밝혔다. 과거 오픈AI의 핵심 인물이었던 수츠케버는 대규모 언어 모델 개발의 선구자로, '더 큰 것이 더 좋다'는 철학을 주도했던 인물이다. 하지만 그는 이제 "2010년대는 스케일링의 시대였지만, 지금은 경이와 발견의 시대로 돌아왔다"며 새로운 혁신의 필요성을 강조했다.

실제로 오픈AI를 비롯한 주요 AI 연구소들은 GPT-4를 능가하는 차세대 AI 모델 개발에 어려움을 겪고 있다. 익명의 소식통에 따르면, 대규모 모델 훈련 과정에서 막대한 비용과 시간이 소요되는 데다 하드웨어 오류 발생 가능성도 높아 개발에 난항을 겪고 있다고 한다. 또한, AI 모델 훈련에 필요한 데이터가 고갈되고 전력 부족 문제까지 겹치면서 어려움이 가중되고 있다.


이러한 문제를 해결하기 위해 오픈AI는 '추론' 능력을 강화하는 새로운 접근 방식을 제시했다. 오픈AI가 최근 공개한 'o1' 모델은 '테스트 타임 컴퓨팅'이라는 기술을 통해 기존 AI 모델의 성능을 향상시킨다. o1 모델은 단일 답변을 즉시 선택하는 대신, 실시간으로 여러 가능성을 생성하고 평가하여 최적의 답변을 도출한다. 이는 마치 인간이 문제 해결 과정에서 다양한 가능성을 고려하고 최선의 선택을 하는 것과 유사하다.

'o1' 모델은 인간의 추론 과정을 모방하여 복잡한 문제에 대한 해결 능력을 향상시켰다. 오픈AI 연구원 노엄 브라운은 지난달 TED AI 컨퍼런스에서 "o1 모델은 포커 게임에서 봇이 단 20초만 생각해도 모델을 10만 배로 확장하고 10만 배 더 오랫동안 훈련한 것과 같은 성능 향상을 보였다"고 밝혔다.

'o1' 모델은 GPT-4와 같은 기본 모델 위에서 추가적인 훈련을 거쳐 개발되었다. 오픈AI는 이 기술을 더 크고 많은 기본 모델에 적용하여 성능을 더욱 향상시킬 계획이다.


오픈AI의 이러한 움직임은 AI 업계 전반에 큰 영향을 미칠 것으로 예상된다. 앤트로픽(Anthropic), xAI, 구글 딥마인드(Google DeepMind) 등 다른 주요 AI 연구소들도 '추론' 중심의 AI 모델 개발에 박차를 가하고 있다.

오픈AI의 최고 제품 책임자인 케빈 와일은 "우리는 이 모델을 매우 빠르게 개선하기 위해 노력하고 있다"며 "경쟁사들이 따라잡을 때쯤이면 우리는 3단계 더 앞서 나가 있을 것"이라고 자신감을 드러냈다.

'추론' 중심의 AI 모델 개발은 하드웨어 경쟁 구도에도 영향을 미칠 것으로 보인다. 지금까지는 엔비디아의 AI 칩이 시장을 장악해 왔지만, '추론' 능력이 중요해지면서 엔비디아는 더욱 치열한 경쟁에 직면할 수 있다.

세쿼이아 캐피털(Sequoia Capital)의 파트너인 소냐 황(Sonya Huang)은 "이러한 전환은 거대한 사전 훈련 클러스터의 세계에서 추론을 위한 분산형 클라우드 기반 서버인 추론 클라우드로 이동을 의미한다"고 분석했다.

엔비디아는 '추론' 시장에서의 경쟁 심화 가능성에도 불구하고, 자사 칩에 대한 수요는 여전히 높다고 주장한다. 엔비디아 CEO 젠슨 황은 "우리는 이제 추론 시점의 스케일링 법칙을 발견했다"며 "이는 블랙웰(Blackwell-엔비디아의 최신 AI 칩)에 대한 수요 증가로 이어졌다"고 밝혔다.

OpenAI가 제시한 새로운 AI 모델 개발 방식은 AI 업계의 지각변동을 예고하고 있다. '더 큰 것이 더 좋다'는 기존의 패러다임에서 벗어나 인간의 사고방식을 모방하는 '추론' 중심의 AI 모델 개발 경쟁이 본격화될 전망이다. 이는 AI 기술 발전을 더욱 가속화하고, 우리 삶의 다양한 영역에 더 큰 영향을 미칠 것으로 예상된다.


이태준 글로벌이코노믹 기자 tjlee@g-enews.com