Architektura
CSA2
2026BadawczyAktualizacja: 15 września 2026Opublikowany
Druga generacja skompresowanej, rzadkiej uwagi DeepSeek z cache KV w FP4, zmniejszająca pamięć potrzebną dla długich kontekstów.
Kluczowa
innowacja
Rzadki, skompresowany mechanizm uwagi z cache'owaniem stanów KV w formacie FP4, radykalnie zmniejszający zużycie pamięci przy bardzo długich kontekstach.
Kategoria
Architektura
Poziom abstrakcji
Building block
Poziom operacji
Element architekturyWarstwaInferencja
Zastosowania
Inferencja z bardzo długim kontekstemRedukcja rozmiaru cache KVModele językowe o oknie rzędu 1M tokenów
Jak działa
CSA2 wybiera rzadki podzbiór połączeń uwagi zamiast liczyć pełną macierz gęstą, a stany klucz-wartość zapisuje w skompresowanym formacie FP4. Technika SWA Bounded Replay odtwarza brakujące stany KV okna przesuwnego zamiast trzymać je wszystkie w pamięci, dzięki czemu trwały cache KV jest wielokrotnie mniejszy. Razem obniża to zapotrzebowanie na pamięć i przepustowość, przyspieszając inferencję przy długich kontekstach.
Rozwiązany problem
Standardowa gęsta uwaga wymaga pamięci rosnącej z długością kontekstu, a pełny cache KV przy oknie 1M tokenów jest zbyt duży. CSA2 ogranicza ten koszt przez rzadkość i kompresję FP4.
Ewolucja
Oryginalny paper · 2026
DeepSeek-V4.1-Flash (karta modelu)
2026
CSA2 w modelach DeepSeek-V4
Punkt przełomowyDruga generacja skompresowanej, rzadkiej uwagi z cache KV w FP4 wprowadzona w rodzinie DeepSeek-V4.