Lost in the Middle
Jak działa
Zjawisko bada się przez kontrolowane przesuwanie pozycji istotnej informacji w obrębie długiego wejścia przy stałej długości kontekstu. W zadaniu wielodokumentowego QA model otrzymuje pytanie i wiele fragmentów, z których tylko jeden zawiera odpowiedź; mierzy się dokładność w zależności od pozycji tego fragmentu. Analogicznie w odzyskiwaniu par klucz–wartość model ma odczytać wartość dla wskazanego klucza z długiej listy. Wyniki układają się w krzywą U: wysoka dokładność dla pozycji skrajnych, minimum dla pozycji środkowych. Przyczyny łączy się z rozkładem uwagi i kodowaniem pozycji (bias pierwszeństwa/świeżości) w architekturze Transformer oraz z rozkładem długości i położenia informacji w danych treningowych.
Rozwiązany problem
Obala milczące założenie, że model „równomiernie widzi” całe okno kontekstu. Nazywa i charakteryzuje słabo wcześniej zbadane ograniczenie długokontekstowych LLM: sama dostępność informacji w kontekście nie gwarantuje jej wykorzystania, ponieważ pozycja tej informacji silnie wpływa na wynik. Dostarcza podstawy do projektowania systemów RAG i promptowania, które świadomie umieszczają kluczowe treści na krańcach kontekstu.
Implementacja
W systemach RAG istotne fragmenty trafiające do środka długiego kontekstu bywają ignorowane, co obniża jakość odpowiedzi.
Powiększenie okna kontekstu nie usuwa krzywej U; model nadal może nie wykorzystać informacji ze środka.
Większa liczba konkurencyjnych fragmentów nasila efekt — istotna informacja „gubi się” w szumie.
Ewolucja
Praca opisuje krzywą U wydajności w zależności od pozycji istotnej informacji w długim kontekście, na zadaniach wielodokumentowego QA i odzyskiwania par klucz–wartość.
Recenzowana wersja artykułu ukazała się w Transactions of the Association for Computational Linguistics, utrwalając „Lost in the Middle” jako standardowe pojęcie w badaniach nad długim kontekstem.
Ustalenia „Lost in the Middle” zainspirowały benchmarki mierzące rzeczywistą użyteczność długiego kontekstu (m.in. testy typu needle-in-a-haystack oraz RULER).
Hiperparametry (konfigurowalne osie)
Miejsce, w którym istotna informacja znajduje się w kontekście (początek, środek, koniec). Kluczowy czynnik generujący krzywą U.
Długość wejścia oraz liczba konkurencyjnych dokumentów. Im dłuższy kontekst, tym silniejszy spadek dla pozycji środkowych.
Nominalne okno kontekstu i architektura modelu. Efekt występuje również w modelach z dużym oknem kontekstu (rozszerzenie okna go nie usuwa).
Złożoność obliczeniowa
Wąskie gardło obliczeniowe
Wąskim gardłem nie jest przepustowość obliczeniowa, lecz zdolność modelu do rzeczywistego skupienia uwagi na istotnym fragmencie położonym daleko od krańców wejścia. Wraz ze wzrostem długości kontekstu i liczby konkurencyjnych fragmentów informacja środkowa jest coraz słabiej wykorzystywana.
Paradygmat wykonania
Zjawisko obserwuje się w modelach opartych na gęstej samo-uwadze (dense self-attention), gdzie wszystkie pozycje wejścia są przetwarzane, lecz nie są wykorzystywane jednakowo.