hbm 뜻(고대역폭 메모리, D램 적층, AI용 GPU)

HBM은 High Bandwidth Memory의 줄임말로, 우리말로는 고대역폭 메모리다. 데이터를 임시로 담는 D램 칩을 여러 층으로 쌓고, 연산 장치와 넓은 통로로 연결해 짧은 시간에 많은 데이터를 주고받도록 만든다. 인공지능용 GPU 사양에서 자주 볼 수 있는 이름이다.

 

hbm 뜻을 이해하려면 대역폭부터 보면 된다. 대역폭은 메모리와 연산 장치 사이에서 일정 시간 동안 옮길 수 있는 데이터의 양을 나타낸다. 메모리를 어떻게 쌓는지, GPU는 왜 이런 구조를 쓰는지 차례로 알아보자.

hbm 뜻에서 대역폭은 무엇일까?

메모리 대역폭은 메모리와 연산 장치가 1초에 얼마나 많은 데이터를 주고받을 수 있는지를 나타내는 값이다. 보통 초당 기가바이트(GB/s)나 초당 테라바이트(TB/s)로 표시한다. 가령 100 GB/s라는 사양은 초당 100 GB를 옮길 수 있는 전송량을 뜻한다. 실제 전송량은 데이터에 접근하는 방식과 작업에 따라 달라진다.

 

도로의 차선을 떠올리면 쉽다. 차선이 많으면 같은 시간에 더 많은 차가 지나갈 수 있다. 메모리도 여러 경로로 데이터를 동시에 보낼 수 있으면 초당 전송량을 높일 수 있다. 대역폭과 용량은 사양표에서 단위가 비슷하므로 아래처럼 구분해 읽는다.

 

항목	나타내는 것	주로 쓰는 단위
메모리 용량	메모리에 담을 수 있는 데이터의 양	GB
메모리 대역폭	메모리에서 일정 시간 동안 옮길 수 있는 데이터의 양	GB/s, TB/s

 

같은 80 GB 메모리라도 연결 방식에 따라 대역폭이 다를 수 있다. 큰 모델이 메모리에 들어가는지 보려면 용량을, 들어 있는 데이터를 연산 장치로 얼마나 빠르게 옮길 수 있는지 보려면 대역폭을 살핀다.

HBM은 D램을 어떻게 쌓고 연결할까?

D램 칩을 얇게 만들어 위로 쌓은 뒤, 칩을 관통하는 미세한 전기 통로로 층을 연결한다. 이 통로를 TSV라고 부른다. 영어로는 Through Silicon Via이고, 우리말로는 실리콘 관통 전극이다. 여러 층을 한자리에서 연결할 수 있어 칩을 옆으로 늘어놓을 때보다 같은 면적에 더 많은 메모리를 배치할 수 있다.

 

쌓아 올린 HBM 묶음을 스택이라고 한다. 대표적인 구조에서는 GPU와 HBM 스택을 한 패키지 안에서 나란히 놓고, 아래쪽의 인터포저를 통해 연결한다. 인터포저는 칩 사이의 미세한 배선을 이어 주는 판이다. 층과 층을 잇는 TSV는 세로 방향을, GPU와 메모리를 잇는 인터포저 배선은 옆 방향을 떠올리면 이해하기 쉽다.

 

hbm 뜻을 칩 구조로 풀어 보면 적층과 넓은 연결이 핵심이다. 칩을 위로 쌓으면 차지하는 면적을 줄일 수 있다. GPU와 HBM 사이에 많은 신호선을 짧게 연결하면 동시에 데이터를 보낼 경로가 늘어난다. 이처럼 칩을 배치하고 연결하는 공정이 HBM의 특징이다.

AI용 GPU는 왜 HBM을 쓸까?

AI용 GPU는 모델의 수많은 숫자와 계산 중에 생기는 중간 데이터를 메모리와 반복해서 주고받는다. GPU의 계산 장치가 다음 데이터를 기다리는 시간이 길어지면 연산 능력을 다 쓰기 어렵다. HBM은 초당 전송량을 늘려 데이터 이동이 작업의 병목이 되는 상황을 줄이는 데 쓰인다.

 

예를 들어 엔비디아 H100 SXM은 HBM3 메모리 80 GB를 탑재하고 메모리 대역폭은 3.35 TB/s다. 앞의 숫자는 담을 수 있는 양이고, 뒤의 숫자는 초당 전송량이다. 같은 H100 이름을 쓰는 제품도 형태에 따라 사양이 달라질 수 있으므로 제품명과 함께 세부 모델을 확인한다. 엔비디아 H100 제품 사양 바로가기

 

GPU에 어떤 메모리를 넣는지는 용도와 제품 설계에 따라 달라진다. 게임과 그래픽 작업용으로 나온 지포스 RTX 5090은 GDDR7을 쓴다. 같은 종류의 작업에 쓸 GPU를 비교할 때는 메모리 종류와 함께 용량과 대역폭을 살핀다.

마치면서

hbm 뜻은 고대역폭 메모리다. D램을 여러 층으로 쌓아 TSV로 잇고, GPU와 가까운 곳에 배치해 넓은 연결로 데이터를 주고받는다. AI처럼 메모리에서 큰 데이터를 자주 읽어 오는 작업에서는 초당 전송량이 중요하다. 제품 사양을 볼 때 GB는 데이터를 담을 수 있는 용량, GB/s나 TB/s는 일정 시간에 옮길 수 있는 양이라는 점을 기억하면 두 숫자의 역할을 쉽게 구분할 수 있다.

 

[안내드립니다] 예시의 수치는 해당 제품의 공개 사양을 기준으로 작성했습니다. 실제 메모리 전송량은 시스템 구성과 작업 조건에 따라 달라질 수 있습니다.