1. Model źródłowy przetwarza kontekst wejściowy i tworzy pamięć KV (stany klucz-wartość dla każdej warstwy i głowicy uwagi). 2. Offline kalibruje się zamknięte odwzorowanie liniowe (regresja grzbietowa) osobno dla każdej głowicy, które przekształca stany KV modelu źródłowego w przestrzeń KV modelu docelowego. 3. Wybierane są warstwy źródłowe o najwyższej mocy predykcyjnej względem warstw docelowych. 4. Usuwane jest kodowanie pozycyjne, aby przekształcone stany były niezależne od pozycji i wielokrotnego użytku. 5. Podczas inferencji model docelowy zamiast wykonywać pełny prefill otrzymuje odwzorowane stany KV i od razu przechodzi do dekodowania. Dla trudnych par modeli można zastosować warianty nieliniowe poprawiające dokładność.
W wdrożeniach produkcyjnych, które dynamicznie przełączają się między modelami o różnych rozmiarach w obrębie jednej rodziny (np. dla balansu kosztu i jakości), każde przełączenie wymaga ponownego, kosztownego przetworzenia całego kontekstu (prefill) przez nowy model. Zwiększa to opóźnienie (czas do pierwszego tokena) i zużycie GPU. Transfer pamięci KV między modelami eliminuje tę redundancję, przenosząc już wyliczony kontekst.
Zamknięte odwzorowanie liniowe (regresja grzbietowa) uczone osobno dla każdej głowicy uwagi, przekształcające stany KV modelu źródłowego w przestrzeń KV modelu docelowego.
Mechanizm wyboru warstw modelu źródłowego o najwyższej mocy predykcyjnej dla warstw modelu docelowego.
Usunięcie kodowania pozycyjnego ze stanów KV, dzięki czemu przekształcone stany są niezależne od pozycji i możliwe do ponownego użycia.
Niewielki zbiór danych używany offline do dopasowania współczynników odwzorowania liniowego.
Transfer działa dla modeli dzielących architekturę i tokenizer w obrębie jednej rodziny; nie przenosi się swobodnie między niepowiązanymi modelami.
Dla niektórych par modeli dokładność spada poniżej pełnego zakresu 73–98%; odwzorowanie liniowe może nie wystarczyć.
Aby przekształcone stany były wielokrotnego użytku, trzeba usunąć kodowanie pozycyjne, co wymaga zgodności ze schematem pozycyjnym modelu.
Pierwszy silnik serwowania LLM wspierający współdzielenie prefiksowej pamięci KV między modelem bazowym a jego adapterami.
Odkrycie liniowej struktury par KV między modelami i wprowadzenie zamkniętego odwzorowania per-głowica zastępującego pełny prefill.
Odwzorowanie liniowe stosowane jest niezależnie dla każdej głowicy uwagi i warstwy, więc transfer można w pełni zrównoleglić — w przeciwieństwie do sekwencyjnego prefill.
Technika stosowana w serwowaniu LLM na GPU; samo odwzorowanie to lekka operacja liniowa (mnożenie macierzy) dobrze dopasowana do rdzeni tensorowych.
