컴퓨팅 수요 폭발로 GPU 비용 대폭 상승...두달 만에 50% 올라

컴퓨팅 수요 폭발로 GPU 비용 대폭 상승...두달 만에 50% 올라

AI 산업의 급성장이 핵심 자원인 컴퓨팅 파워 부족이라는 새로운 병목에 직면하고 있다. 수요가 폭발적으로 증가하면서 서비스 장애, 가격 상승, 제품 출시 지연 등 다양한 문제가 동시에 나타나고 있다.

13일(현지시간) 월스트리트 저널(WSJ)에 따르면, 최근 AI 업계에서는 ‘에이전트형 AI’ 확산이 수요 급증의 핵심 요인으로 꼽혔다.

자율적으로 코딩, 일정 관리, 업무 처리 등을 수행하는 AI 도구가 빠르게 퍼지며, 단순 챗봇을 넘어 훨씬 많은 연산 자원이 필요해졌기 때문이다.

엔지니어이자 투자자인 벤 풀라디안은 “세상에 부족한 것은 석유가 아니라 토큰”이라며 “AI는 이제 단순 질의응답을 넘어 복잡한 작업을 수행하는 단계에 들어섰다”라고 설명했다.

이에 따라 컴퓨팅 자원의 핵심인 GPU 가격이 급등하고 있다. 엔비디아의 최신 '블랙웰(Blackwell)' 칩은 시간당 임대료가 4.08달러로, 두달 전보다 약 48% 상승했다.

AI 클라우드 기업 코어위브는 지난해 말 서비스 가격을 20% 이상 인상하고, 고객에게 최소 3년 사용 계약을 요구하기 시작했다. 시장에서는 이러한 수요 초과 상황이 최소 2029년까지 이어질 것으로 보고 있다.

문제는 단순히 장비를 추가한다고 해결되지 않는다는 점이다. 데이터센터 건설에는 긴 시간이 필요하고, 전력 공급 역시 2026년까지 대부분 이미 계약이 완료된 상태다. 클라우드 기업 벌처의 J.J. 카드웰 CEO는 “이 정도 규모의 공급 부족은 처음 본다”라고 말했다.

컴퓨팅 부족은 주요 AI 기업들의 서비스 운영에도 직접적인 영향을 미치고 있다. 앤트로픽은 최근 잦은 서비스 장애를 겪으며 기업 고객 이탈까지 발생하고 있다. 일부 사용자는 핵심 서비스인 ‘클로드’의 사용 제한에 대해 불만을 제기하고 있다.

실제로 앤트로픽은 피크 시간대 토큰 사용량을 제한하는 정책을 도입했지만, 사용자들은 “몇주 동안 한도에 도달하지 않았는데 이번 주에는 45분 만에 제한에 걸렸다”라며 불만을 토로하고 있다.

서비스 가용성도 문제다. 최근 90일 기준 API 가동률은 98.95%로, 일반적인 기업용 서비스 기준(99.99%)에 크게 못 미친다.

이로 인해 일부 기업은 모델을 교체하는 움직임도 나타나고 있다. 소프트웨어 플랫폼 리툴의 데이비드 수 CEO는 앤트로픽 모델 대신 오픈AI 모델로 전환했다고 밝혔다.

오픈AI도 컴퓨팅 자원 부족 문제에서 자유롭지 않다. 이 때문에 영상 생성 서비스 ‘소라’ 등 일부 계획을 철회하고, 코드 생성과 기업용 제품에 자원을 집중한 것으로 전해졌다. 특히 오픈AI API의 토큰 사용량은 지난해 10월 분당 60억에서 올해 3월에는 150억으로 급증했다.

사라 프라이어 오픈AI CFO도 “사용 가능한 컴퓨팅을 찾기 위해 많은 시간을 쓰고 있다”라며 “자원이 부족해 포기해야 하는 프로젝트도 있다”라고 밝힌 바 있다.

이번 사태는 기술 혁신 초기 단계에서 반복되는 ‘인프라 병목’ 현상으로 해석됐다. 철도와 통신, 인터넷 초기에도 수요가 공급을 앞지르며 가격 상승과 서비스 제한이 발생한 바 있다.

다만 AI 기업들은 치열한 경쟁 속에서 가격 인상이라는 해법을 쉽게 선택하기 어려운 상황이다. 사용자 확보 경쟁이 치열한 만큼, 비용을 전가하면 시장 점유율에 타격을 입을 수 있기 때문이다.

업계에서는 현재의 컴퓨팅 부족이 단기적 현상이 아니라 구조적 문제일 가능성도 제기한다. AI가 기업과 산업 전반에 빠르게 확산하면서, 컴퓨팅 파워는 사실상 ‘새로운 원자재’로 자리 잡고 있기 때문이다.

https://www.aitimes.com/news/articleView.html?idxno=209243