IT 인터넷

고대역폭메모리 뜻(HBM, 대역폭, 적층 구조)

풀린 IT 2026. 10. 30. 03:18

AI 반도체 기사에 자주 등장하는 HBM은 많은 데이터를 빠르게 주고받도록 만든 D램의 한 종류다. 영어 High Bandwidth Memory를 줄인 말이며, 우리말로는 고대역폭 메모리라고 부른다. 고대역폭메모리 뜻을 이해하려면 저장 공간이 크다는 말과 데이터가 많이 오간다는 말을 먼저 구별해야 한다. 계산 능력이 뛰어난 반도체도 필요한 자료를 제때 받지 못하면 성능을 충분히 쓰기 어렵다. 이름에 담긴 대역폭의 의미부터 여러 칩을 쌓는 구조, AI에서 맡는 역할까지 차근차근 살펴보자.

고대역폭메모리 뜻과 HBM 문구 아래 적층 메모리에서 여러 평행 통로를 따라 데이터 점이 이동하는 대표 이미지

고대역폭메모리 뜻, 용량이 크다는 말일까?

고대역폭 메모리는 단위 시간에 많은 데이터를 전송할 수 있도록 설계한 메모리라는 뜻이다. 대역폭은 데이터를 주고받는 통로가 처리할 수 있는 양을 나타낸다. HBM에서 고대역폭이라는 이름은 저장 공간의 크기보다 데이터 전송 능력을 강조한다.

 

용량과 대역폭은 서로 관련이 있지만 같은 수치는 아니다. 제품 설명을 읽을 때는 아래처럼 무엇을 나타내는 값인지 나누어 보면 된다.

 

구분 뜻 주로 쓰는 단위
메모리 용량 데이터를 얼마나 담을 수 있는가 GB 등
메모리 대역폭 단위 시간에 데이터를 얼마나 옮길 수 있는가 GB/s, TB/s 등

 

예를 들어 창고의 크기는 용량에, 창고에서 물건을 내보내는 길의 운반 능력은 대역폭에 견줄 수 있다. 창고가 넓어도 나가는 길이 좁으면 물건을 한꺼번에 많이 보내기 어렵다. 이처럼 용량이 크다고 대역폭까지 반드시 높은 것은 아니며, 같은 HBM이라도 세대와 제품에 따라 두 값이 달라진다.

용량은 데이터를 담을 수 있는 양으로 GB를 표시하고 대역폭은 초당 옮기는 양으로 GB/s를 표시한 비교 도식

여러 D램을 쌓으면 어떻게 연결될까?

HBM은 여러 D램 칩을 수직으로 쌓고 촘촘한 연결 통로를 만들어 데이터를 병렬로 주고받는다. 여기서 병렬이라는 말은 여러 통로를 통해 데이터를 함께 옮긴다는 뜻이다. 적층 구조와 넓은 입출력 연결을 함께 활용하는 것이 핵심이다.

 

고대역폭메모리 뜻을 단순히 높이 쌓은 메모리로만 기억하면 연결 기술의 역할을 놓치기 쉽다. 기본 구조는 다음 세 가지로 나누어 볼 수 있다.

 

  • 수직 적층: D램 칩을 위아래로 쌓아 제한된 바닥 면적 안에 메모리를 배치한다.
  • 수직 연결: 실리콘 관통 전극인 TSV 등을 이용해 쌓인 칩 사이에 신호가 오갈 길을 만든다.
  • 가까운 배치: GPU 같은 연산 반도체 가까이에 HBM을 배치하고 미세한 배선으로 연결한다.

 

여러 연결을 넓게 쓰면 각 통로의 전송 속도만 높이는 방식에 의존하지 않고 전체 전송량을 키울 수 있다. 짧은 데이터 이동 거리도 전송에 필요한 에너지와 신호 손실을 줄이는 데 도움이 된다. 다만 적층 수나 연결 구조는 제품마다 다르므로 그림에 보이는 층수를 모든 HBM의 규격으로 받아들이면 안 된다.

D램 층을 수직으로 쌓고 층 사이 연결과 아래쪽의 넓은 데이터 통로를 표시한 개념도

AI에서 왜 중요하고 무엇과 다를까?

AI에서는 연산에 필요한 데이터를 계속 공급해야 하므로 높은 메모리 대역폭이 중요하다. GPU나 AI 전용 가속기는 많은 계산을 병렬로 수행하지만, 메모리에서 자료가 늦게 도착하면 계산할 준비가 되어 있어도 기다릴 수 있다. 이런 데이터 공급의 병목을 줄이는 것이 HBM의 중요한 역할이다.

 

HBM은 AI 모델의 가중치와 연산에 필요한 중간 데이터 등을 담고 연산 장치와 주고받는다. 메모리 자체가 GPU를 대신해 AI 계산을 모두 수행한다는 뜻은 아니다. AI 학습과 추론, 슈퍼컴퓨터처럼 데이터 이동량이 큰 작업에서 활용되지만 모든 작업의 속도가 대역폭에 비례해 오르는 것도 아니다.

 

D램과 HBM을 완전히 다른 종류로 나누는 것도 정확하지 않다. HBM은 D램을 활용한 메모리이고, 컴퓨터와 서버에서 쓰는 DDR 계열도 D램에 속한다. 일반적인 DDR 메모리 모듈과는 연결 방식과 배치, 쓰임이 다르므로 데스크톱의 메모리 슬롯에 HBM을 대신 꽂아 쓰는 식으로 생각하면 곤란하다.

 

전원이 없어도 파일을 보관하는 SSD와도 역할이 다르다. HBM은 전원 공급이 필요한 휘발성 작업 메모리다. 제품을 이해할 때는 대역폭과 용량 외에도 전력, 냉각, 패키징을 함께 살펴야 한다. 칩을 정밀하게 연결하고 열을 관리해야 하므로 적층 구조만 보고 성능이나 효율을 단정할 수는 없다.

데이터 보관을 맡는 HBM과 연산 수행을 맡는 AI 가속기를 나란히 놓고 양방향 화살표로 연결한 역할 구분 도식

마치면서

HBM은 D램을 수직으로 쌓고 넓은 연결 통로를 활용해 많은 데이터를 주고받도록 만든 메모리다. 고대역폭메모리 뜻을 기억할 때는 얼마나 담는지를 나타내는 용량과, 단위 시간에 얼마나 옮기는지를 나타내는 대역폭을 구분하면 이름과 구조가 함께 이해된다. AI에서는 연산 장치에 자료를 공급하는 역할이 중요하지만, 실제 성능은 메모리 용량과 전력, 냉각 및 시스템 구성까지 함께 살펴야 판단할 수 있다.

 

[안내드립니다] 이 글은 메모리 기술의 기본 개념을 설명한 정보입니다. 제품별 적층 구조와 대역폭, 용량, 적용 방식은 세대와 설계에 따라 다르므로 구체적인 사양은 제조사의 공식 자료를 확인하시기 바랍니다.