최근 반도체 뉴스를 보면 HBM이라는 단어가 정말 자주 등장한다. SK하이닉스 실적이 크게 좋아졌다는 기사에도, 엔비디아 GPU 이야기에도 어김없이 HBM이 함께 언급된다. 도대체 HBM이 뭐길래 AI 반도체 열풍의 핵심으로 떠올랐는지 궁금해서 공부한 내용을 정리해본다.
HBM, 이름부터 풀어보기
HBM은 High Bandwidth Memory, 즉 고대역폭 메모리의 줄임말이다. 여기서 대역폭이라는 말이 핵심인데, 대역폭은 데이터를 얼마나 많은 양으로, 얼마나 빠르게 주고받을 수 있는지를 나타내는 개념이다. 도로에 비유하면 차선이 넓을수록 한 번에 더 많은 차가 지나갈 수 있는 것처럼, 대역폭이 넓을수록 한 번에 더 많은 데이터를 전송할 수 있다는 뜻이다.
기존 D램은 데이터를 주고받는 통로가 상대적으로 좁아서, 아무리 연산 장치(GPU)가 빨라도 메모리에서 데이터를 충분히 빠르게 공급받지 못하면 전체 성능이 병목에 걸리는 문제가 있었다. HBM은 이 병목을 해결하기 위해 등장한 메모리라는 걸 알게 됐다.
HBM은 어떻게 이 문제를 해결했을까
HBM의 핵심 아이디어는 D램 칩을 옆으로 넓게 배치하는 대신, 여러 층으로 수직으로 쌓아 올리는 것이었다. 이걸 적층이라고 부르는데, 마치 여러 층짜리 건물처럼 D램 칩을 층층이 쌓고, 이 층들을 관통하는 수많은 미세한 구멍(TSV, 실리콘관통전극)을 뚫어서 데이터가 오가는 통로를 대폭 늘렸다는 걸 알게 됐다.
이렇게 쌓아 올린 D램 층 사이를 수직으로 연결하다 보니, 기존 방식보다 훨씬 넓은 통로로 데이터를 주고받을 수 있게 됐다. 게다가 여러 층을 수직으로 쌓기 때문에 차지하는 면적도 줄일 수 있어서, 좁은 공간에 더 많은 메모리 용량과 더 빠른 데이터 전송 속도를 동시에 확보할 수 있다는 게 HBM의 핵심 장점이라는 걸 이해하게 됐다.
왜 하필 지금 HBM이 뜨는 걸까
HBM 자체는 사실 꽤 오래전부터 개발되어 온 기술이라는 걸 찾아보며 알게 됐다. 그런데 최근 몇 년 사이 갑자기 스포트라이트를 받게 된 이유는 AI, 특히 대규모 AI 모델 학습과 추론 수요가 폭발적으로 늘어났기 때문이었다.
AI 연산은 GPU가 엄청난 속도로 계산을 처리하는데, 이 계산에 필요한 데이터를 메모리가 충분히 빠르게 공급해주지 못하면 아무리 GPU 성능이 좋아도 실제 처리 속도는 느려질 수밖에 없다. 이런 상황에서 HBM처럼 압도적으로 넓은 대역폭을 가진 메모리가 AI 서버에 필수적인 부품으로 떠올랐다는 걸 이해하게 됐다. 엔비디아의 최신 AI 서버용 GPU에는 이미 HBM이 기본으로 탑재되고 있고, 이 GPU의 성능을 제대로 끌어내기 위해서라도 고성능 HBM 확보가 필수가 됐다는 흐름을 여러 기사에서 확인할 수 있었다.
SK하이닉스가 HBM 강자로 떠오른 배경
이 흐름 속에서 SK하이닉스가 HBM 시장의 선두주자로 자주 언급되는 이유도 찾아봤다. SK하이닉스는 HBM 개발 초기부터 꾸준히 투자를 이어왔고, 엔비디아 같은 대형 고객사에 초기 물량을 안정적으로 공급하며 기술 신뢰를 쌓아왔다는 분석을 확인할 수 있었다. 메모리 반도체 시장에서 삼성전자에 비해 상대적으로 후발주자였던 SK하이닉스가 HBM이라는 특정 영역에서 앞서나가면서, 회사 전체 실적과 위상까지 크게 달라졌다는 이야기가 인상 깊었다.
HBM의 세대 구분도 있다
공부하다 보니 HBM도 세대를 거듭하며 발전해왔다는 걸 알게 됐다. HBM1부터 시작해서 HBM2, HBM3, HBM3E로 이어지며 대역폭과 용량이 계속 늘어나고 있고, 최근 기사에서는 다음 세대인 HBM4 개발 경쟁 소식도 자주 접할 수 있었다. 세대가 올라갈수록 적층 단수도 늘어나고, 데이터 전송 속도도 빨라지면서 AI 반도체 성능 경쟁의 핵심 축이 되고 있다는 걸 이해하게 됐다.
헷갈렸던 부분: HBM은 왜 아무 회사나 못 만들까
찾아보면서 궁금했던 점 하나는, HBM이 이렇게 중요하다면 왜 모든 메모리 회사가 쉽게 만들지 못하냐는 것이었다. 이유를 살펴보니 D램을 여러 층으로 쌓고, 그 층들을 미세한 구멍으로 정확하게 연결하는 공정 자체가 극도로 정밀한 기술을 요구한다는 걸 알게 됐다. 층을 쌓다가 한 층이라도 불량이 생기면 전체 적층 구조가 못쓰게 되는 경우가 많아서, 수율(정상 작동하는 제품의 비율) 관리가 일반 D램보다 훨씬 까다롭다는 설명을 찾아볼 수 있었다.
이 때문에 HBM은 단순히 기존 D램 생산 라인을 조금 손보는 수준이 아니라, 적층과 패키징 기술까지 별도로 고도화해야 하는 영역이라는 걸 이해하게 됐다. SK하이닉스가 이 분야에서 앞서나갈 수 있었던 것도, 단순히 먼저 뛰어들었기 때문이 아니라 이 까다로운 적층·패키징 공정에서 안정적인 수율을 확보하는 기술력을 먼저 갖췄기 때문이라는 분석이 훨씬 설득력 있게 다가왔다.
정리하며
HBM을 공부하면서, 결국 AI 시대의 진짜 병목은 연산 속도가 아니라 그 연산에 필요한 데이터를 얼마나 빠르게 공급할 수 있느냐에 있었다는 걸 알게 됐다. 앞으로 AI 반도체 관련 뉴스를 볼 때, GPU 성능 이야기뿐 아니라 그 옆에서 함께 언급되는 HBM 이야기도 놓치지 않고 함께 챙겨봐야겠다는 생각이 들었다. 결국 화려한 연산 장치 뒤에는 그만큼 눈에 덜 띄지만 핵심적인 메모리 기술이 함께 받쳐주고 있다는 걸 새삼 깨닫게 됐다. 앞으로는 이런 숨은 병목 기술까지 눈여겨보며 산업 흐름을 읽어야겠다.