Architektura
Rzadka uwaga (Sparse Attention)
2019AktywnyAktualizacja: 28 sierpnia 2026Opublikowany
Sparse attention to rodzina mechanizmów uwagi, które ograniczają obliczenia do wybranego podzbioru powiązań między tokenami, obniżając koszt obliczeniowy i pamięciowy długiego kontekstu.
Kluczowa
innowacja
Mechanizm uwagi liczący tylko podzbiór par token-token zamiast pełnej macierzy, redukując koszt z kwadratowego.
Kategoria
Architektura
Poziom abstrakcji
Building block
Poziom operacji
Element architekturyModel
Zastosowania
Modele językowe o długim kontekścieEfektywna inferencja LLMModele multimodalne (długie wideo/dokumenty)Redukcja kosztów obsługi kontekstu (np. QSA w Qwen, sparse attention w GLM-5)
Jak działa
Model wybiera, dla których par tokenów liczyć uwagę — poprzez wzorce stałe (lokalne/blokowe/globalne) lub dynamiczne, uczone kryteria istotności — pomijając resztę. Zmniejsza to liczbę operacji i zużycie pamięci KV, umożliwiając skalowanie kontekstu do setek tysięcy i milionów tokenów.
Rozwiązany problem
Standardowa (gęsta) uwaga ma złożoność kwadratową względem długości sekwencji, co czyni bardzo długie konteksty kosztownymi obliczeniowo i pamięciowo.