HBM

HBM을 쉽게 이해하기

컴퓨터의 프로세서는 계산을 담당하고 메모리는 계산에 필요한 데이터를 보관함. 프로세서가 아무리 빨라도 메모리에서 데이터가 늦게 도착하면 기다리는 시간이 생기는데, 이를 흔히 메모리 병목이라고 부름. HBM은 이 병목을 줄이기 위해 메모리와 프로세서 사이의 데이터 통로를 크게 넓힌 기술임.

HBM은 얇은 D램 칩 여러 장을 위로 쌓고, 칩을 관통하는 미세한 전극인 TSV(실리콘 관통 전극)로 층 사이를 연결함. 쌓은 메모리는 GPU나 AI 가속기 옆에 놓이며, 실리콘 인터포저나 첨단 패키징 구조를 통해 매우 많은 신호선을 연결함. 이 구조 덕분에 비교적 낮은 동작 속도에서도 큰 대역폭과 높은 전력 효율을 얻을 수 있음.

왜 AI에 중요한가

대규모 AI 모델은 수많은 가중치와 중간 계산값을 계속 읽고 써야 함. 연산 장치가 데이터를 기다리지 않게 하려면 메모리 대역폭과 용량이 함께 커져야 함. HBM은 GPU 가까이에서 대량의 데이터를 공급하므로 AI 학습뿐 아니라 많은 사용자의 요청을 동시에 처리하는 AI 추론에서도 중요성이 커지고 있음.

HBM이 탑재된 AI 반도체의 실제 성능과 생산량은 메모리 칩만으로 결정되지 않음. HBM과 GPU를 한 패키지에 연결하는 인터포저, 베이스 다이, 패키징 공정, 냉각 기술, 고객사의 품질 검증이 모두 필요함. 이 때문에 HBM 공급 부족은 D램 생산량뿐 아니라 첨단 패키징 생산 능력과도 연결됨.

세대별 변화

세대	핵심 변화	대표적인 흐름
HBM	D램을 수직으로 쌓고 1,024개의 넓은 입출력 통로를 사용하는 기본 구조 확립	AMD와 SK하이닉스의 공동 개발, AMD Radeon R9 Fury 계열에 상용 적용
HBM2	한 스택의 용량과 속도를 높이고 서버·고성능 컴퓨팅으로 적용 범위 확대	삼성전자의 양산, 엔비디아 Tesla P100 적용
HBM2E	HBM2의 속도와 용량을 확장	AI 가속기와 엑사스케일 슈퍼컴퓨터용 수요 증가
HBM3	채널 구조와 속도를 개선해 스택당 대역폭을 크게 확대	엔비디아 H100과 결합하며 생성형 AI 시대의 핵심 메모리로 부상
HBM3E	HBM3의 속도·용량·전력 효율을 추가 개선	SK하이닉스·마이크론·삼성전자의 공급 경쟁 본격화
HBM4	입출력 수를 1,024개에서 2,048개로 늘리고 로직 기반 베이스 다이 활용 확대	메모리와 파운드리 기술의 결합, 고객 맞춤형 HBM 경쟁 강화

주요 업체와 역할

구분	업체·조직	역할
메모리	SK하이닉스	초기 HBM 공동 개발부터 HBM3·HBM3E·HBM4까지 빠른 양산과 공급을 주도함
메모리	삼성전자	HBM2 양산과 고단 적층 HBM3E, HBM4 상용 공급을 추진함
메모리	마이크론 테크놀로지	HBM3E부터 전력 효율과 빠른 데이터 전송 속도를 앞세워 경쟁에 참여함
가속기 설계	AMD	SK하이닉스와 초기 HBM을 공동 개발하고 최초 상용 GPU 제품군에 적용함
가속기 설계	엔비디아	P100·H100 등 데이터센터 GPU에 HBM을 적용해 AI 시장의 대규모 수요를 만듦
표준	JEDEC	서로 다른 업체의 제품이 공통 규격을 따르도록 HBM 세대별 표준을 정함
파운드리·패키징	TSMC	CoWoS 같은 첨단 패키징으로 GPU와 여러 HBM 스택을 고밀도로 연결함

장점

• 매우 넓은 데이터 통로를 통한 높은 대역폭
• GPU 가까이에 배치해 줄일 수 있는 데이터 이동 거리
• 기존 고성능 그래픽 메모리보다 높은 면적 효율과 전력 효율
• 여러 장을 쌓아 늘릴 수 있는 스택당 용량
• AI, 슈퍼컴퓨터, 고성능 네트워크 장비에 적합한 구조

어려운 점

• 여러 칩 중 하나만 불량이어도 완성된 스택의 수율이 낮아질 수 있는 문제
• 층이 높아질수록 어려워지는 열 배출과 휨 제어
• TSV, 본딩, 언더필 등 정밀 공정이 필요한 높은 제조 난도
• GPU와 HBM을 함께 연결하는 대형 인터포저와 첨단 패키징 생산 능력의 제약
• 일반 D램보다 높은 가격과 고객별 긴 검증 기간

시장 흐름

초기 HBM은 고급 그래픽 카드와 슈퍼컴퓨터용 특수 메모리에 가까웠음. 2022년 이후 대규모 언어 모델과 생성형 AI가 빠르게 확산되면서 HBM은 AI 데이터센터의 핵심 부품으로 바뀜. 특히 엔비디아 H100 같은 가속기가 HBM3를 채택하면서 메모리 업체의 생산 능력과 고객 인증이 시장 점유율을 좌우하기 시작함.

HBM3E 시기에는 SK하이닉스가 빠른 양산으로 앞서고, 마이크론이 전력 효율을 강조하며 진입했으며, 삼성전자가 고용량 적층과 HBM4 상용 공급으로 추격하는 구도가 형성됨. 세 회사가 HBM 시장의 주요 공급자로 경쟁하는 가운데, GPU 설계사와의 공동 검증과 장기 공급 계약의 중요성이 커짐.

HBM4부터는 입출력 수가 두 배로 늘고 베이스 다이가 단순 연결 부품에서 로직 기능을 가진 칩으로 발전하고 있음. 이에 따라 메모리 회사의 D램 기술뿐 아니라 파운드리 공정과 패키징 설계 역량이 더욱 중요해짐. 시장조사업체 TrendForce는 HBM4의 제조 복잡성 때문에 HBM3E보다 더 높은 가격 프리미엄이 형성될 것으로 전망함.

2026년에는 AI 학습에서 추론으로 수요가 넓어지고 데이터센터가 다양한 종류의 메모리를 대량으로 확보하면서 HBM과 일반 D램의 공급이 함께 빡빡해지는 흐름이 나타남. HBM은 단순한 메모리 제품을 넘어 AI 반도체 공급망 전체의 생산량·가격·출시 시기를 결정하는 전략 부품으로 변화함.