Zjawisko bada się przez kontrolowane przesuwanie pozycji istotnej informacji w obrębie długiego wejścia przy stałej długości kontekstu. W zadaniu wielodokumentowego QA model otrzymuje pytanie i wiele fragmentów, z których tylko jeden zawiera odpowiedź; mierzy się dokładność w zależności od pozycji tego fragmentu. Analogicznie w odzyskiwaniu par klucz–wartość model ma odczytać wartość dla wskazanego klucza z długiej listy. Wyniki układają się w krzywą U: wysoka dokładność dla pozycji skrajnych, minimum dla pozycji środkowych. Przyczyny łączy się z rozkładem uwagi i kodowaniem pozycji (bias pierwszeństwa/świeżości) w architekturze Transformer oraz z rozkładem długości i położenia informacji w danych treningowych.
Obala milczące założenie, że model „równomiernie widzi” całe okno kontekstu. Nazywa i charakteryzuje słabo wcześniej zbadane ograniczenie długokontekstowych LLM: sama dostępność informacji w kontekście nie gwarantuje jej wykorzystania, ponieważ pozycja tej informacji silnie wpływa na wynik. Dostarcza podstawy do projektowania systemów RAG i promptowania, które świadomie umieszczają kluczowe treści na krańcach kontekstu.
W systemach RAG istotne fragmenty trafiające do środka długiego kontekstu bywają ignorowane, co obniża jakość odpowiedzi.
Powiększenie okna kontekstu nie usuwa krzywej U; model nadal może nie wykorzystać informacji ze środka.
Większa liczba konkurencyjnych fragmentów nasila efekt — istotna informacja „gubi się” w szumie.
Praca opisuje krzywą U wydajności w zależności od pozycji istotnej informacji w długim kontekście, na zadaniach wielodokumentowego QA i odzyskiwania par klucz–wartość.
Recenzowana wersja artykułu ukazała się w Transactions of the Association for Computational Linguistics, utrwalając „Lost in the Middle” jako standardowe pojęcie w badaniach nad długim kontekstem.
Ustalenia „Lost in the Middle” zainspirowały benchmarki mierzące rzeczywistą użyteczność długiego kontekstu (m.in. testy typu needle-in-a-haystack oraz RULER).
Wąskim gardłem nie jest przepustowość obliczeniowa, lecz zdolność modelu do rzeczywistego skupienia uwagi na istotnym fragmencie położonym daleko od krańców wejścia. Wraz ze wzrostem długości kontekstu i liczby konkurencyjnych fragmentów informacja środkowa jest coraz słabiej wykorzystywana.
Miejsce, w którym istotna informacja znajduje się w kontekście (początek, środek, koniec). Kluczowy czynnik generujący krzywą U.
Długość wejścia oraz liczba konkurencyjnych dokumentów. Im dłuższy kontekst, tym silniejszy spadek dla pozycji środkowych.
Nominalne okno kontekstu i architektura modelu. Efekt występuje również w modelach z dużym oknem kontekstu (rozszerzenie okna go nie usuwa).
Zjawisko obserwuje się w modelach opartych na gęstej samo-uwadze (dense self-attention), gdzie wszystkie pozycje wejścia są przetwarzane, lecz nie są wykorzystywane jednakowo.
