Architektura

MLA

2024AktywnyOpublikowano: 2 września 2026Aktualizacja: 2 września 2026Opublikowany

Mechanizm uwagi (DeepSeek-V2, 2024) kompresujący cache KV do wektora latentnego, silnie redukujący zużycie pamięci podczas inferencji.

Kluczowa innowacja

Kompresja pamięci podręcznej klucz-wartość (KV cache) do niskowymiarowego wektora latentnego, co drastycznie redukuje zużycie pamięci podczas inferencji przy zachowaniu jakości zbliżonej do standardowej Multi-Head Attention.

Kategoria

Architektura

Poziom abstrakcji

Building block

Poziom operacji

Element architekturyInferencja

Zastosowania

Inferencja długokontekstowych LLMRedukcja pamięci cache KVZwiększanie przepustowości generacjiModele Mixture-of-Experts (DeepSeek-V2/V3, Kimi K2)

Jak działa

MLA rzutuje reprezentację wejściową na niskowymiarowy wektor latentny za pomocą macierzy down-projekcji (wspólnej kompresji klucza i wartości). W cache KV przechowywany jest wyłącznie ten skompresowany wektor latentny (opcjonalnie wraz z niewielką, oddzieloną częścią przenoszącą informację pozycyjną RoPE). Podczas liczenia uwagi klucze i wartości dla poszczególnych głów są odtwarzane z wektora latentnego przez macierze up-projekcji, po czym uwaga jest liczona standardowo. Zapytania (queries) mogą być kompresowane analogicznie, aby ograniczyć pamięć aktywacji podczas treningu. Osadzenia pozycyjne RoPE są obsługiwane w oddzielonym (decoupled) torze, ponieważ rotacyjne kodowania nie łączą się bezpośrednio z kompresją latentną. Efektem jest cache KV o rozmiarze proporcjonalnym do wymiaru latentnego d_c, znacznie mniejszego niż iloczyn liczby głów i wymiaru głowy w standardowej MHA.

Rozwiązany problem

Standardowa Multi-Head Attention wymaga przechowywania pełnego cache klucz-wartość dla każdego tokenu i każdej głowy, którego rozmiar rośnie liniowo z długością kontekstu i staje się głównym ograniczeniem pamięci oraz przepustowości przy inferencji długokontekstowej. MLA rozwiązuje ten problem, kompresując cache KV do małego wektora latentnego.

Komponenty

Down-projekcja do wektora latentnego KVKompresja kluczy i wartości do wspólnego wektora latentnego

Macierz rzutująca reprezentację wejściową na niskowymiarowy wektor latentny c_KV, który jest jedynym elementem trzymanym w cache KV.

Latentny cache KVPrzechowywanie skompresowanej reprezentacji zamiast pełnych K/V

Bufor przechowujący wektor latentny c_KV dla każdego tokenu; jego rozmiar skaluje się z wymiarem latentnym d_c, a nie z liczbą głów.

Up-projekcje kluczy i wartościRekonstrukcja kluczy i wartości per głowa z wektora latentnego

Macierze up-projekcji odtwarzające klucze i wartości dla poszczególnych głów uwagi z wektora latentnego w momencie liczenia uwagi.

Oddzielony tor RoPEPrzenoszenie informacji pozycyjnej niezależnie od kompresji latentnej

Wydzielona, mała część klucza/zapytania niosąca rotacyjne osadzenia pozycyjne (RoPE), których nie da się bezpośrednio złączyć z kompresją latentną.

Oficjalna

Implementacja

Implementacje referencyjne

DeepSeek-V2 (official)

Python · DeepSeek-AI

Oficjalna

Pułapki implementacyjne

Obsługa RoPE wymaga oddzielonego toruWysoka

Rotacyjnych osadzeń pozycyjnych nie da się bezpośrednio złączyć z kompresją latentną; pominięcie oddzielonego toru RoPE psuje kodowanie pozycji.

Rozwiązanie:Zastosuj oddzielony (decoupled) tor RoPE zgodnie z projektem MLA w DeepSeek-V2.

Dobór wymiaru latentnego d_cŚrednia

Zbyt mały d_c degraduje jakość, zbyt duży ogranicza oszczędność pamięci cache KV.

Rozwiązanie:Dostrój d_c empirycznie, balansując rozmiar cache KV i jakość.

Ewolucja

Oryginalny paper · 2024 · arXiv 2024 · DeepSeek-AI

DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model

DeepSeek-AI

2024

Wprowadzenie MLA w DeepSeek-V2

Punkt przełomowy

DeepSeek-V2 (236B/21B aktywne) wprowadza MLA, redukując cache KV o 93,3% i zwiększając maks. przepustowość generacji do 5,76x.

2024

Adopcja MLA w DeepSeek-V3

DeepSeek-V3 kontynuuje stosowanie MLA jako mechanizmu uwagi.

2025

MLA w rodzinie Kimi K2 (Moonshot AI)

Karty modeli Kimi K2 (1T/32B aktywne) wprost wskazują "Attention Mechanism: MLA", potwierdzając adopcję poza DeepSeek.

Hiperparametry (konfigurowalne osie)

Wymiar kompresji KV (d_c)Krytyczna

Wymiar wektora latentnego KV; kluczowy kompromis między rozmiarem cache KV a jakością.

Wymiar kompresji zapytańŚrednia

Wymiar latentny dla kompresji zapytań, ograniczający pamięć aktywacji podczas treningu.

Wymiar oddzielonego RoPEWysoka

Rozmiar oddzielonej części przenoszącej rotacyjne osadzenia pozycyjne.

Złożoność obliczeniowa

Złożoność czasowa: O(n² · d). Złożoność przestrzenna: O(n · d_c).

Wąskie gardło obliczeniowe

Rozmiar cache KV przy inferencji

W standardowej MHA cache KV rośnie liniowo z długością kontekstu i liczbą głów, ograniczając pamięć i przepustowość; MLA przenosi to wąskie gardło na mały wektor latentny.