HBF and HBC: The Next Generation of AI Memory Technology Challenging HBM Dominance
서론: AI 메모리 혁명
인공지능이 놀라운 속도로 발전하는 가운데, AI 시스템을 뒷받침하는 메모리 기술도 극적인 변화를 겪고 있다. 고대역폭 메모리(HBM)는 오랫동안 AI 가속기와 데이터센터 GPU의 골드 스탠다드였지만, 두 가지 신흥 기술—고대역폭 플래시(HBF)와 고대역폭 컴퓨트(HBC)—가 업계 지형을 재편하려 하고 있다. Qualcomm, NVIDIA, Western Digital(SanDisk) 등 업계 리더들이 HBM의 전력 소비, 비용, 확장성 한계를 극복하기 위해 이러한 혁신을 추진하고 있다.
HBF와 HBC가 등장하는 이유
HBF와 HBC의 등장은 HBM 기술이 직면한 몇 가지 핵심 과제에서 비롯된다:
전력 소비 문제
HBM의 높은 전력 요구는 데이터센터에서 심각한 열 문제를 일으키고, 스마트폰이나 IoT 장치 같은 edge 기기에는 비실용적이다. HBF는 전력 소비를 크게 줄여 edge에서 AI 기능을 가능하게 하는 해결책을 제공한다.
비용과 공급 제약
HBM의 복잡한 제조 공정은 공급 부족을 초래했고, Samsung과 SK hynix는 2027년 이후까지 지속될 수 있다고 경고한다. 이 희소성은 비용을 올리고 AI 배포를 제한한다.
AI inference 병목
inference decode 단계에서 메모리 대역폭이 핵심 병목이 된다. HBC는 compute를 데이터에 더 가깝게 두어 데이터 이동 지연을 줄인다.
세 가지 기술 이해
HBM(High Bandwidth Memory)
- 아키텍처: 실리콘 via(TSV)로 연결된 수직 적층 DRAM die
- 강점: 뛰어난 대역폭(HBM3E 최대 1TB/s), 낮은 지연
- 약점: 높은 전력 소비, 비싼 제조, 데이터센터 애플리케이션에 한정
- 사용 사례: 데이터센터 GPU, 고성능 AI training
HBF(High Bandwidth Flash)
- 아키텍처: 고대역폭 동작에 최적화된 플래시 메모리 기술
- 강점: 낮은 전력, 높은 용량 잠재력, 비용 효율
- 혁신: edge AI 처리(스마트폰, IoT) 가능
- 전망: 2038년까지 메모리 수요에서 HBM을 넘을 것으로 예상
- 사용 사례: edge AI 장치, AI 스마트폰, 임베디드 시스템
HBC(High Bandwidth Compute)
- 아키텍처: near-memory computing 기능을 갖춘 적층형 저전력 DRAM(LPDDR)
- 강점: 유효 메모리 대역폭의 세대적 도약, 데이터 이동 감소
- 혁신: 데이터를 compute로 옮기는 대신 compute를 데이터 쪽으로 가져감
- 개발: Qualcomm의 AI inference 가속기용 breakthrough 기술
- 사용 사례: AI inference 워크로드, 데이터센터 가속기, token 생성
주요 차이 비교
| Feature | HBM | HBF | HBC |
|---|---|---|---|
| Memory Type | DRAM | Flash | LPDDR |
| Power Efficiency | Low | High | Medium–High |
| Cost | High | Lower | Medium |
| Capacity | Limited | High | Medium |
| Bandwidth | Very High | High | Very High |
| Latency | Very Low | Medium | Low |
| Primary Use | Training / Inference | Edge AI | Inference |
| Thermal Profile | High | Low | Medium |
업계 영향과 미래 전망
메모리 업계는 중요한 전환점에 있다. HBM이 고성능 AI training을 계속 지배하는 가운데, HBF와 HBC는 새로운 영역을 연다:
- HBF는 edge 기기에서 AI를 실현 가능하게 해 AI를 대중화하고, AI 스마트폰·IoT의 거대 시장을 만들 잠재력
- HBC는 데이터센터 AI 배포를 제한해 온 inference 병목을 해결하며, Qualcomm은 이를 Dragonfly AI 가속기의 핵심 기술로 포지셔닝
- HBM은 대규모 LLM training과 HPC에서 중요한 역할을 유지하지만, 대안이 성숙하면서 시장 점유율은 감소할 수 있음
결론
HBF와 HBC의 등장은 AI의 다양한 니즈에 응답하는 자연스러운 진화다. HBM을 완전히 대체하는 것이 아니라, 각 솔루션이 특정 use case를 담당하는 계층형 메모리 생태계를 만든다. 2027년 이후를 향해 HBF가 edge AI를, HBC가 inference 워크로드를, HBM이 고성능 training 환경에서의 지위를 각각 이끌 것으로 기대된다. AI 메모리의 미래는 한 기술의 승리가 아니라, 올바른 애플리케이션에 맞는 메모리를 선택하는 것이다.
