마이크론 "AI 성능 병목은 메모리⋯연산 속도 못 따라가는 HBM" [핫칩스 2026]

[아이뉴스24 황세웅 기자] "인공지능(AI) 연산 성능은 2년마다 약 3배씩 향상되지만 고대역폭메모리(HBM) 대역폭은 같은 기간 2배 미만으로 늘고 있다. AI 성능을 제한하는 '메모리 장벽(Memory Wall)'은 오히려 심해질 수 있다."

23일(현지시간) 미국 스탠퍼드대학교에서 열린 반도체 학회 '핫칩스 2026'에서 라구 스리라마네니 마이크론 HBM 설계 아키텍처 펠로우는 이같이 말했다.

마이크론은 AI 모델이 커질수록 메모리가 전체 시스템 성능을 좌우하는 핵심 요소가 되고 있다고 진단했다.

AI 가속기는 연산에 필요한 데이터를 메모리에서 받아 처리한다. 프로세서 성능이 아무리 높아도 데이터 공급 속도가 이를 따라가지 못하면 연산 장치가 기다려야 해 전체 성능이 떨어진다.

HBM은 여러 D램을 수직으로 쌓고 GPU 가까이에 배치해 기존 D램보다 훨씬 넓은 대역폭을 제공한다. 하지만 연산 성능의 발전 속도가 HBM 대역폭 증가 속도를 앞지르면서 메모리 병목이 다시 커지고 있다는 게 마이크론의 설명이다.

실제 AI 학습 과정에서도 HBM 문제가 나타나고 있다. 마이크론은 메타의 라마3 학습 논문을 인용해 의도하지 않은 학습 중단 가운데 17%가 HBM 관련 문제 때문이었다고 설명했다.

HBM의 적층 수가 늘면서 발열도 과제로 꼽혔다. HBM은 초기 4단에서 최근 16단까지 적층 수가 높아졌으며 향후 20단 이상으로 확대할 가능성도 있다. 다만 적층이 높아질수록 전력 밀도가 증가해 열을 빼내기가 어려워진다.

마이크론은 이를 해결하기 위해 액체냉각과 하이브리드 본딩, 차세대 첨단 패키징 기술이 필요하다고 강조했다.

특히 퓨전 본딩을 적용하면 D램 사이의 접합 간격을 줄여 데이터 전송량을 늘리고 열저항도 낮출 수 있다고 설명했다.

마이크론은 차세대 고속 입출력 기술과 다이투다이(D2D) 연결 기술도 연구하고 있다.

스리라마네니 펠로우는 "AI 성능을 지속적으로 높이기 위해서는 단순히 HBM 적층 수와 속도를 높이는 데 그치지 않고 공정과 패키징, 설계, 열관리 기술을 함께 발전시켜야 한다"고 강조했다.