Model wybiera, dla których par tokenów liczyć uwagę — poprzez wzorce stałe (lokalne/blokowe/globalne) lub dynamiczne, uczone kryteria istotności — pomijając resztę. Zmniejsza to liczbę operacji i zużycie pamięci KV, umożliwiając skalowanie kontekstu do setek tysięcy i milionów tokenów.
Standardowa (gęsta) uwaga ma złożoność kwadratową względem długości sekwencji, co czyni bardzo długie konteksty kosztownymi obliczeniowo i pamięciowo.
