(260525) Beyond the Chip - 추론의 시대, 시스템으로 확장되는 AI 인프라 (유진투자)
https://stock.pstatic.net/stock-research/invest/63/20260511_invest_725804000.pdf
Beyond the Chip: 추론의 시대, 시스템으로 확장되는 AI 인프라
이 보고서는 AI 산업의 패러다임이 개별 칩의 성능 경쟁을 넘어 시스템 전체의 최적화와 연결성으로 이동하고 있음을 분석한다. AI 추론 시장의 개화와 AI 에이전트 모델의 확산이 가져올 인프라 구조의 근본적인 변화와 이에 따른 주요 기술적 병목, 그리고 시장의 새로운 기회 요인을 심층적으로 다룬다.
요약 (Executive Summary)
- 시스템 인텐시브(System Intensive)로의 전환: AI 인프라 투자가 개별 XPU 성능 중심의 '컴퓨트 인텐시브' 국면에서 시스템 전체의 구성과 연결 역량이 성능을 좌우하는 '시스템 인텐시브' 국면으로 진입했다.
- 하이퍼스케일러 투자 가속화: 2026년 하이퍼스케일러의 합산 설비투자(CAPEX)는 전년 대비 76% 증가한 7,250억 달러에 달할 것으로 전망되며, 이는 AI 에이전트 수요 폭증에 따른 결과이다.
- CPU의 역할 재정의: AI 에이전트의 멀티 스텝 루프 워크로드로 인해 CPU가 단순 연산 보조를 넘어 시스템 전반을 조율하는 '오케스트레이터'로 부상하며 가치가 재평가되고 있다.
- 광(Optical) 인터커넥트 채택 확대: 네트워크 속도가 800G 이상으로 고속화됨에 따라 구리 인터커넥트의 물리적 한계가 부각되고 있으며, 이를 대체하기 위한 플러거블 트랜시버 및 CPO(Co-Packaged Optics) 수요가 구조적으로 성장할 전망이다.
- AI 인프라 패러다임의 변화: 칩에서 시스템으로
AI 산업 초기에는 대규모 데이터 학습을 위한 '컴퓨트 인텐시브(Compute Intensive)' 단계가 주를 이루었으나, 현재는 실시간 응답과 복잡한 작업을 수행하는 추론 중심의 '시스템 인텐시브' 단계로 확장되고 있다.
학습 병목과 컴퓨팅 자원
- 학습(Training): 모델 파라미터 최적화가 목적으로, 대규모 데이터를 빠르게 처리하는 GPU 등 AI 가속기 성능이 핵심 병목이었다.
- 시장 결과: 엔비디아(Nvidia)의 데이터센터 매출이 3년간 약 14배 증가하는 등 개별 가속기 공급 업체가 시장을 주도했다.
추론 병목과 시스템 오케스트레이션
- 추론(Inference): 사용자의 요청에 실시간 응답하는 과정으로, 단순 답변을 넘어 실제 작업을 수행하는 AI 에이전트(AI Agent)의 출현으로 워크로드가 복잡해졌다.
- 멀티 스텝 루프: AI 에이전트는 모델 호출, 외부 툴 실행, 작업 스케줄링 등이 반복되는 구조를 가지며, 이는 단일 GPU 성능보다 시스템 전체의 조율 능력을 더 중요하게 만든다.
엔비디아 베라 루빈 팟(Vera Rubin Pod)의 시사점
엔비디아가 발표한 차세대 아키텍처는 AI 인프라가 단순 칩 공급이 아닌 시스템 단위의 경쟁임을 증명한다.
구분주요 구성 요소역할
AI 연산Vera Rubin NVL72, Groq 3 LPXAI 연산 및 Decode 연산 분담
오케스트레이션Vera CPU 랙시스템 전체 워크로드 및 자원 조율
데이터 관리BlueField-4 STXKV 캐시 저장 및 외부 스토리지 오프로딩
네트워킹Spectrum-6 SPX (CPO 적용)스케일아웃 네트워크 담당
- CPU: AI 에이전트 시대의 오케스트레이터
AI 에이전트 환경에서 CPU는 단순 범용 프로세서가 아니라 AI 시스템 전반을 조율하는 핵심 컨트롤러로 재평가받고 있다.
AI 에이전트 워크로드와 CPU 런타임
- 주요 에이전트 워크로드(Haystack RAG, SWE-Agent 등) 분석 결과, 전체 런타임의 최대 90% 수준이 CPU 처리 과정에서 발생한다.
- 외부 툴 호출, 데이터베이스 접근, 세션 관리 등은 모두 CPU가 관여하는 영역으로, CPU 성능 개선이 사용자 경험과 직결된다.
시장 전망 및 가치 상승
- 탑재량 및 ASP 상승: 데이터센터 내 CPU 탑재량이 증가하는 동시에 고성능 서버 CPU 중심의 믹스 개선으로 평균 판매 단가(ASP) 상승이 기대된다.
- 시장 규모: 서버 CPU TAM(총 시장 규모)은 2030년까지 연평균(CAGR) 38.8%의 고성장을 기록할 전망이다.
- 투자 비중: 데이터센터 반도체 TAM 내 CPU 투자 비중은 2025년 약 10% 수준에서 2030년 14% 이상으로 확대될 것으로 예상된다.
- 네트워크: 시스템을 연결하는 혈관
AI 클러스터 규모가 단일 랙을 넘어 팟(Pod), 클러스터, 캠퍼스 단위로 확장되면서 고성능 네트워크의 중요성이 극대화되고 있다.
구리 인터커넥트의 한계
- 네트워크 속도가 3.2T 환경으로 진입할 경우, 구리 케이블의 지원 거리는 평균 랙 높이(2.2m)를 하회하게 된다.
- 이러한 물리적 한계로 인해 데이터센터 내부 연결이 구리에서 광(Optical) 인터커넥트로 빠르게 전환되고 있다.
광 네트워크 기술 로드맵
- 플러거블 트랜시버(Pluggable Transceiver): 단기적 시장 성장을 주도. 800G에서 1.6T, 3.2T로 전환되며 출하량과 ASP가 동시에 상승하고 있다.
- CPO(Co-Packaged Optics): 중장기적 솔루션. 광 엔진을 ASIC 패키지에 직접 집적하여 전력 효율을 극대화한다. 2028년 이후 NVLink 등 스케일업(Scale-Up) 패브릭에 적용되어 시장 규모를 재차 확장할 전망이다.
광 인터커넥트 시장 규모 전망
- 광 트랜시버 및 CPO를 포함한 주요 데이터센터 광 인터커넥트 시장은 2030년까지 연평균 35.5% 성장하여 약 750억 달러 규모에 달할 것으로 보인다.
- 핵심 용어 정의 (Glossary)
- AI 에이전트(AI Agent): 단순 응답을 넘어 사용자를 대신해 실제 작업을 수행하는 AI.
- KV 캐시(KV Cache): 추론 과정에서 과거 문맥 정보를 저장한 데이터.
- DPU(Data Processing Unit): 네트워크, 스토리지, 보안 등 인프라 업무를 전담 처리하는 프로세서.
- 스케일업(Scale-Up) vs 스케일아웃(Scale-Out): 랙 내부 프로세서를 연결해 단일 시스템화하는 구조(Up)와 다수의 랙을 연결해 클러스터 규모를 키우는 구조(Out).
- 스케일어크로스(Scale-Across): 데이터센터와 캠퍼스를 연결해 인프라 범위를 건물 외부로 확대하는 구조.
- 결론 및 시사점
AI 산업은 이제 '더 빠른 칩'의 단계를 넘어 '더 효율적인 시스템'의 시대로 진입했다. 하이퍼스케일러들의 폭발적인 RPO(잔여 이행 의무) 성장은 이러한 시스템 인프라에 대한 강력한 수요를 뒷받침한다. 특히 시스템 오케스트레이션을 담당하는 CPU와 데이터센터의 물리적 연결 한계를 극복하게 해주는 광 네트워킹 기술이 향후 AI 인프라 경쟁의 승부처가 될 것으로 판단된다.
