Architektura
Qwen Sparse Attention (QSA)
AktywnyAktualizacja: 28 sierpnia 2026Opublikowany
Qwen Sparse Attention (QSA) to autorski mechanizm rzadkiej uwagi Qwen (Alibaba) redukujący koszt obsługi długiego kontekstu.
Kluczowa
innowacja
Mechanizm rzadkiej uwagi opracowany przez zespół Qwen, stosowany na poziomie mikrobloków w hybrydowej architekturze uwagi.
Kategoria
Architektura
Poziom abstrakcji
Building block
Poziom operacji
Element architekturyModel
Zastosowania
Obsługa długiego kontekstu w modelach QwenEfektywna inferencja LLM/VLMArchitektury hybrydowej uwagiModele multimodalne o dużym oknie kontekstu
Jak działa
QSA ogranicza obliczenia uwagi do istotnych powiązań między tokenami i działa na poziomie mikrobloków w architekturze hybrydowej (wspólnie z Gated DeltaNet oraz mechanizmem 'Gated Residual'), co obniża koszt obsługi kontekstu rzędu setek tysięcy–miliona tokenów.
Rozwiązany problem
Gęsta uwaga jest zbyt kosztowna dla bardzo długich kontekstów; potrzebny jest wydajny mechanizm rzadkiej uwagi zachowujący jakość długiego kontekstu.