W HBM od 4 do 16 układów DRAM jest ułożonych jeden na drugim i połączonych pionowo tysiącami przelotek TSV oraz mikrolutów, co tworzy bardzo szeroki interfejs (1024-bitowy na stos, a od HBM4 — 2048-bitowy), podzielony na wiele niezależnych kanałów (np. 16 kanałów po 64 bity w HBM3). Na spodzie stosu znajduje się układ bazowy (base/logic die) z buforami i logiką testową, który komunikuje się z kontrolerem pamięci procesora. Cały stos jest osadzony obok GPU/akceleratora na krzemowym interposerze (pakowanie 2.5D), który prowadzi gęste ścieżki sygnałowe na krótkim dystansie. Ponieważ magistrala jest ekstremalnie szeroka, HBM osiąga wysoką łączną przepustowość przy stosunkowo niskim taktowaniu pojedynczego pinu, co obniża pobór energii na przesłany bit względem GDDR.
Przepustowość pamięci stała się głównym wąskim gardłem akceleratorów AI i HPC („memory wall"): tradycyjne GDDR/DDR wymagają szerokich magistral na płytce PCB, zużywają dużo energii i nie nadążają za rosnącą mocą obliczeniową GPU. HBM skraca dystans pamięć–procesor, zwielokrotnia liczbę linii I/O i pozwala pracować przy niższym taktowaniu na pin, dając wielokrotnie wyższą przepustowość na wat i uwalniając moc obliczeniową ograniczaną dostępem do pamięci.
Od 4 do 16 warstw pamięci DRAM ułożonych pionowo jedna na drugiej, tworzących jeden stos pamięci.
Pionowe połączenia elektryczne przechodzące przez płytkę krzemową, łączące ułożone warstwy DRAM i zapewniające szeroki, krótki interfejs.
Układ na spodzie stosu zawierający bufory i logikę testową; pośredniczy między warstwami DRAM a kontrolerem pamięci procesora.
Drobne złącza lutowane łączące sąsiednie warstwy stosu oraz stos z układem bazowym.
Krzemowe podłoże prowadzące gęste ścieżki sygnałowe między stosem HBM a GPU/CPU/akceleratorem na bardzo krótkim dystansie (pakowanie 2.5D).
Stosy z TSV oraz montaż na interposerze (np. TSMC CoWoS) są kosztowne, a przepustowość pakowania bywa wąskim gardłem podaży akceleratorów AI.
HBM jest zintegrowane na pakiecie procesora; pojemność jest ustalona fabrycznie, mniejsza niż w modułach DDR i nie da się jej rozbudować.
Gęste, wysokie stosy DRAM (12–16 warstw) utrudniają odprowadzanie ciepła i mogą wymuszać ograniczanie taktowania.
JEDEC definiuje HBM: 1024-bitowy interfejs na stos, do 4 warstw DRAM, ok. 128 GB/s na stos.
GPU AMD z rdzeniem Fiji jako pierwszy produkt wykorzystuje HBM pierwszej generacji.
Do 8 warstw, 8 GB na stos i do 256 GB/s; zastosowany m.in. w NVIDIA Tesla P100 i V100.
Wyższe taktowanie (do ~3.6 Gbps/pin), ok. 460 GB/s na stos i do 24 GB (12 warstw).
16 kanałów po 64 bity, do 6.4 Gbps/pin (~819 GB/s na stos); napędza NVIDIA H100.
SK hynix i Micron: >9.2 Gbps/pin i >1.2 TB/s na stos, 24–36 GB; napędza NVIDIA H200 i Blackwell.
Podwojony interfejs do 2048 bitów na stos, do 64 GB (16 warstw); podstawa platformy NVIDIA Rubin.
Liczba warstw DRAM w stosie — wpływa na pojemność i częściowo na przepustowość.
Szerokość magistrali pojedynczego stosu w bitach.
Maksymalna pojemność pojedynczego stosu HBM.
Szybkość transmisji na pojedynczy pin I/O.
Podział szerokiej magistrali stosu na niezależne kanały.
Nowoczesne GPU do AI (NVIDIA H100/H200/Blackwell) są ograniczone przepustowością pamięci; HBM dostarcza TB/s potrzebne rdzeniom tensor.
Akceleratory Google TPU wykorzystują HBM jako pamięć główną, aby zasilić duże jednostki mnożenia macierzy.
