Context Window
Jak działa
1. Architektura modelu definiuje maksymalną długość pozycji: positional encoding (sinusoidal w „Attention Is All You Need", learned w GPT-2, RoPE w Llama/Mistral/Qwen, ALiBi w MPT) jest projektowany lub trenowany dla konkretnego maksymalnego n.
2. KV-cache: podczas inferencji autoregresywnej każda nowo wygenerowana pozycja zapisuje swój klucz i wartość (K, V) w pamięci akceleratora. Cache rośnie liniowo z długością i jest dominującym składnikiem zużycia VRAM przy długich oknach.
3. Koszt uwagi: standardowa self-attention oblicza macierz n×n iloczynów skalarnych — O(n²) FLOPs i pamięci. Dla n=1M ta macierz to bilion elementów; bez optymalizacji niewykonalne. FlashAttention, sliding window, GQA/MQA, Mamba i podobne redukują ten koszt.
4. Rozszerzanie okna post-hoc: techniki jak RoPE scaling (linear, dynamic NTK, YaRN), positional interpolation lub long-context fine-tuning pozwalają rozszerzyć okno modelu po pretrainingu bez treningu od zera — z różną jakością.
5. W kliencie / API: prompt + history + system + tools + plik RAG są tokenizowane i muszą zmieścić się w oknie modelu. Powyżej limitu różne strategie: błąd (OpenAI), automatyczny truncate (niektóre interfejsy), sliding window over history (chatboty), lub RAG (retrieval zamiast wciskania wszystkiego).
Rozwiązany problem
Model autoregresywny musi mieć jasno zdefiniowaną dziedzinę wejścia: ile pozycji tokenowych obsługują warstwy attention, positional encoding i KV-cache. Okno kontekstu daje ten kontrakt — jednoznaczny, deterministyczny limit, który pozwala alokować pamięć z góry i przewidywać koszt operacji. W zastosowaniach praktycznych okno definiuje, czy do modelu zmieści się: cała książka, monorepozytorium kodu, długa rozmowa z historią, dokument prawny lub multimodalna zawartość (1 godzina audio ≈ kilkaset tysięcy tokenów). To bezpośrednio przekłada się na zakres zadań, które model może wykonać w jednym wywołaniu — bez potrzeby RAG lub agentowego rozbijania zadania.
Kluczowe mechanizmy
Mocne strony i ograniczenia
Komponenty
Implementacja
Modele reklamujące 1M+ tokenów często degradują jakość już przy 32k–128k (RULER). Należy weryfikować efektywne okno empirycznie dla swojej domeny, nie ufać marketingowi.
Informacja umieszczona w środku długiego kontekstu jest gorzej wykorzystywana niż na początku/końcu (Liu et al. 2023). Wpływa na strategię RAG (kolejność chunks) i layout promptu.
Koszt liczony per token i koszt obliczeniowy attention rosną razem z długością kontekstu — wypełnienie okna 1M jest setki razy droższe niż 10k. Latency prefill rośnie liniowo lub gorzej.
Tekst w PL/JP/AR zajmuje 2–3× więcej tokenów niż angielski — efektywne okno dla tych języków jest proporcjonalnie mniejsze. „128k tokenów" ≠ „128k znaków" ani „128k słów".
Pokusa „wrzucenia całego korpusu" do długiego okna często jest gorsza jakościowo i kosztowo niż dobrze zbudowany RAG. Długie okno powinno być narzędziem, nie wymówką do rezygnacji z retrieval.