HBM 역할, AI 시대에 메모리가 핵심 부품이 된 이유

생산 라인이 아무리 빨라도 자재 창고가 멀리 떨어져 있으면 공장은 자주 멈춥니다. 지게차가 자재를 실어 올 때까지 기계가 기다려야 하기 때문이죠. 그래서 생산량이 많은 공장일수록 창고를 라인 바로 옆에 붙이고, 자재가 드나드는 문을 여러 개 냅니다.

AI 반도체에서 HBM 역할이 바로 이 공장 옆 창고입니다. GPU 같은 연산 칩은 계속 빨라졌지만 데이터를 가져오는 속도가 따라가지 못하면서, 메모리가 전체 성능을 좌우하는 부품이 되었죠. 이 글에서는 AI가 왜 그렇게 많은 대역폭을 요구하는지, HBM이 어떤 구조로 그 요구에 답하는지, 그리고 어떤 대가를 치르는지를 살펴봅니다.

연산보다 느린 메모리, 메모리 장벽

프로세서의 연산 성능은 오랫동안 메모리가 데이터를 공급하는 속도보다 빠르게 늘어 왔습니다. 그 결과 연산 장치가 데이터를 기다리며 노는 시간이 점점 늘었는데, 이 현상을 메모리 장벽(Memory Wall)이라고 부르죠.

캐시를 키우는 방법으로 어느 정도 버틸 수는 있습니다. 하지만 AI 모델처럼 다뤄야 할 데이터가 캐시보다 훨씬 크면 결국 바깥 메모리에서 계속 데이터를 퍼 와야 하므로, 메모리 대역폭이 곧 성능의 천장이 됩니다.

AI 학습과 추론이 대역폭을 원하는 이유

연산 하나를 할 때 메모리에서 데이터를 얼마나 가져와야 하는지를 나타내는 값을 연산 강도(Arithmetic Intensity)라고 합니다. 가져온 데이터로 연산을 많이 할수록 연산 칩의 속도가, 적게 할수록 메모리 대역폭이 성능을 결정하죠.

학습: 크고 많은 데이터를 계속 오가야 한다

모델을 학습할 때는 가중치뿐 아니라 중간 계산 결과와 최적화에 필요한 값까지 메모리에 올려 두고 반복해서 읽고 씁니다. 모델이 커질수록 이 데이터가 연산 칩 안에 담기지 않으므로, 넉넉한 용량과 빠른 대역폭이 함께 필요하죠.

추론: 한 글자를 만들 때마다 모델 전체를 읽는다

대규모 언어 모델이 답을 한 토큰씩 만들어 낼 때는, 토큰 하나를 생성할 때마다 모델의 가중치를 메모리에서 읽어 와야 합니다. 이때 같은 가중치로 처리하는 요청 수가 적으면 가져온 데이터에 비해 연산이 적어서, 연산 칩보다 메모리 대역폭이 먼저 한계에 부딪히기 쉽죠.

이 때문에 AI 가속기의 실제 처리 속도는 연산 성능 수치만으로 예측하기 어렵습니다. 흔히 AI 칩의 성능은 연산 유닛 수로 결정된다고 생각하지만, 상당수 작업에서는 메모리가 얼마나 빨리 데이터를 공급하느냐가 실제 속도를 정합니다.

HBM 구조, 넓은 길을 짧게 놓다

HBM(High Bandwidth Memory, 고대역폭 메모리)은 여러 장의 D램 다이를 수직으로 쌓고, 그 묶음을 연산 칩 바로 옆에 놓는 메모리입니다. 핵심은 데이터가 지나는 길을 아주 넓게, 아주 짧게 만든 데 있죠.

일반 D램 칩이 수십 비트 폭의 길로 데이터를 내보내는 것과 달리, HBM 한 스택은 HBM3E 세대까지 1,024비트, HBM4에서는 2,048비트 폭의 인터페이스를 씁니다. 신호선 한 가닥의 속도는 그래픽용 메모리보다 느려도, 길 자체가 압도적으로 넓어서 스택 하나가 내는 대역폭이 매우 큽니다.

이렇게 넓은 길은 일반 회로 기판 위에서는 깔기 어렵습니다. 수천 가닥의 배선을 좁은 간격으로 놓으려면 반도체 공정으로 만든 인터포저가 필요하고, 그래서 HBM은 2.5D 패키징과 짝을 이뤄 쓰이죠.

와트당 대역폭이라는 숨은 기준

데이터센터에서 AI 가속기를 수천, 수만 개 돌리면 전력과 발열이 곧 운영비가 됩니다. 그래서 대역폭의 절대값만큼 중요한 기준이 같은 전력으로 얼마나 많은 데이터를 옮기느냐, 곧 와트당 대역폭입니다.

신호를 멀리 빠르게 보낼수록 한 비트를 옮기는 데 드는 에너지가 커집니다. HBM은 연산 칩과의 거리가 수 밀리미터 수준으로 짧고, 핀당 속도를 무리하게 올리지 않는 대신 폭을 넓혔기 때문에 비트당 에너지를 낮추는 데 유리하죠. 데이터센터에서 HBM 역할을 이야기할 때 대역폭만큼 전력 효율이 자주 언급되는 이유입니다.

공간 효율도 큽니다. 같은 대역폭을 기판 위 메모리 칩 여러 개로 얻으려면 칩을 연산 칩 주변에 넓게 깔아야 하지만, HBM은 몇 개의 스택으로 그 역할을 하므로 가속기 모듈을 작게 만들 수 있습니다.

HBM의 한계와 공정 난이도

공장 옆 창고는 편리하지만 땅값이 비싸고 넓히기도 어렵습니다. HBM도 성능만큼 분명한 약점이 있죠.

첫째는 원가입니다. TSV 형성, 웨이퍼를 얇게 가는 공정, 여러 다이의 적층과 접합, 인터포저와 2.5D 패키징이 모두 더해지므로 같은 용량의 일반 D램보다 훨씬 비쌉니다. 쌓은 다이 중 하나만 불량이어도 스택 전체가 쓸모없어지므로, 쌓기 전에 양품 다이를 가려내는 테스트도 중요하죠.

둘째는 용량과 열입니다. 연산 칩 옆에 놓을 수 있는 스택 수와 쌓을 수 있는 높이에는 한계가 있어서, 아주 큰 모델은 여러 가속기에 나눠 올려야 합니다. 또 다이를 높이 쌓을수록 가운데 다이의 열이 빠져나가기 어려워, 접합 소재와 방열 설계가 함께 발전해야 합니다.

셋째는 공급 구조입니다. HBM은 메모리 제조, 패키징, 연산 칩 설계가 긴밀하게 맞물려야 완성되므로, 어느 한 단계의 생산 능력이 부족해도 전체 공급이 막힐 수 있죠. 최근에는 베이스 다이를 고객의 요구에 맞춰 설계하려는 흐름도 나타나면서, 메모리와 로직의 경계가 점점 흐려지고 있습니다.

AI 가속기에서 본 HBM 역할 비교 표

구분	HBM	GDDR	서버용 DDR
연결 방식	인터포저 위에서 연산 칩 바로 옆	기판 위 연산 칩 주변	메인보드의 모듈 슬롯
인터페이스 성격	매우 넓은 폭, 비교적 낮은 핀당 속도	좁은 폭, 높은 핀당 속도	모듈 단위의 중간 폭
강점	대역폭, 와트당 대역폭, 작은 면적	낮은 원가로 높은 대역폭	큰 용량, 교체와 확장이 쉬움
약점	높은 원가, 제한된 용량, 패키징 난이도	전력과 신호 품질 부담	AI 가속기에 쓰기에는 부족한 대역폭
AI 시스템에서의 위치	가속기의 주 메모리	그래픽 카드, 일부 추론용 가속기	CPU 쪽 대용량 메모리

핵심 정리

AI 시대의 성능 병목은 연산보다 데이터를 옮기는 쪽에 있는 경우가 많습니다. HBM 역할은 D램을 수직으로 쌓고 연산 칩 바로 옆에 붙여, 아주 넓은 길로 적은 에너지를 들여 데이터를 공급하는 데 있죠.

공장 옆 창고가 비싸도 생산 라인을 멈추지 않게 해 주는 것처럼, HBM은 높은 원가와 공정 난이도에도 AI 가속기의 실제 속도를 지켜 주는 부품입니다. 관련 뉴스를 볼 때는 연산 성능 수치와 함께 메모리 대역폭과 용량, 패키징 공급 능력을 같이 보면 흐름이 더 잘 보입니다.

면접 대비 질문