Architektura
LongCat Sparse Attention
2025AktywnyOpublikowano: 29 czerwca 2026Aktualizacja: 29 czerwca 2026Opublikowany
Mechanizm sparse attention z rodziny LongCat (Meituan), zaprojektowany specjalnie pod długi kontekst 1M tokenów; wprowadzony w modelu LongCat-2.0 i wytrenowany na setkach miliardów tokenów danych 1M-context.
Kluczowa
innowacja
Wariant sparse attention zaprojektowany przez Meituan dla długich kontekstów — umożliwia trenowanie i inferencję modeli z oknem 1M tokenów bez kwadratowego wybuchu pamięci, wprowadzony w LongCat-2.0 (grudzień 2025).
Kategoria
Architektura
Poziom abstrakcji
Building block
Poziom operacji
Element architekturyInferencja
Zastosowania
Pre-trening LLM-ów z natywnym oknem 1M tokenówInferencja na długich kontekstach (cała baza kodu, dłuższe dokumenty prawne)Zadania agentowe wymagające długiej historii akcjiCoding na poziomie repozytorium (whole-repo reasoning)
Rozwiązany problem
Standardowa atencja transformerowa ma kwadratową złożoność (O(n²)) względem długości kontekstu, co praktycznie uniemożliwia natywne 1M okno (potrzeba ~10¹² operacji na warstwę). Aproksymacje sparse attention istniały w literaturze od lat (Longformer, BigBird, Sparse Transformers), ale rzadko były wykorzystywane w treningu modeli frontier — LongCat Sparse Attention pokazuje, że wariant sparse może być wykorzystany w pełnoskalowym pre-treningu 1,6 bln modelu bez utraty jakości.
Implementacja
Implementacje referencyjne
Ewolucja
Oryginalny paper · 2025 · LongCat Tech Blog (grudzień 2025); szczegółowy paper jeszcze niepublikowany na arXiv (stan na grudzień 2025). · Meituan LongCat Team
Introducing LongCat-2.0 (LongCat Tech Blog)
Meituan LongCat Team
2025
Ogłoszenie LongCat Sparse Attention w LongCat-2.0
Punkt przełomowyMechanizm po raz pierwszy zaprezentowany razem z modelem LongCat-2.0 (grudzień 2025). Model 1,6 bln parametrów MoE, ~48B aktywnych per token, 1M kontekst, wytrenowany w pełni na chińskich AI ASIC superpodach.