AI 칩 비용의 63%가 메모리라는 신호

Epoch AI가 2026년 5월 21일 공개한 데이터에서 눈에 띄는 숫자는 하나다. Nvidia, AMD, Google, Amazon의 AI 칩 생산량 기준 추정치에서 HBM 같은 고대역폭 메모리가 AI 칩 부품 비용의 63%까지 올라갔다.

이제 병목은 연산만이 아니다

AI 인프라 이야기는 보통 GPU, FLOPS, 클러스터 규모로 흘러간다. 그런데 실제 비용 구조를 보면 메모리가 점점 더 큰 자리를 차지한다. Epoch AI에 따르면 HBM 비중은 2024년 1분기 52%에서 2025년 4분기 63%로 커졌다.

모델이 커질수록 메모리 압박도 커진다

LLM과 에이전트는 단순히 빠른 연산만 요구하지 않는다. 긴 컨텍스트, 많은 KV cache, 병렬 요청, 툴 호출 로그까지 다루려면 데이터를 계속 들고 있어야 한다. 그래서 칩 성능을 볼 때도 연산량만 보는 습관은 점점 부족해진다.

개발팀에도 꽤 현실적인 신호다

서비스를 만드는 입장에서는 “더 큰 모델을 쓰면 된다”가 항상 답이 아니다. 추론 비용이 메모리 구조에 강하게 묶이면, 프롬프트 길이, 캐시 전략, 배치 크기, 모델 선택이 바로 비용 관리 항목이 된다.

작은 최적화가 다시 중요해진다

에이전트 앱에서는 불필요한 컨텍스트를 매번 넣지 않는 것, 중간 결과를 잘 요약하는 것, 자주 쓰는 지식을 캐싱하는 것이 생각보다 큰 차이를 만든다. 인프라 비용이 메모리 쪽으로 쏠릴수록 이런 기본기가 더 중요해진다.

마무리

AI 칩 비용의 63%가 메모리라는 숫자는 단순한 반도체 뉴스가 아니다. 앞으로 AI 개발은 모델 성능뿐 아니라 메모리 사용 방식을 같이 설계하는 쪽으로 더 빨리 이동할 것 같다.

출처: Epoch AI, “Memory has grown to nearly two-thirds of AI chip component costs”, 2026-05-21