EAGLE-3
Jak działa
1) Model szkicujący generuje drzewo kandydujących tokenów. 2) Zamiast przewidywać cechy warstwy docelowej (jak EAGLE-1/2), EAGLE-3 bezpośrednio przewiduje tokeny, wykorzystując fuzję cech z niskich, średnich i wysokich warstw modelu docelowego. 3) Technika „training-time test" symuluje podczas treningu wielokrokową generację modelu szkicującego, ograniczając rozbieżność między treningiem a inferencją. 4) Model docelowy weryfikuje całe drzewo kandydatów w jednym przebiegu; akceptowane są najdłuższe poprawne ścieżki, co gwarantuje wynik tożsamy ze standardowym dekodowaniem (lossless).
Rozwiązany problem
Autoregresyjne dekodowanie w LLM jest ograniczone pamięciowo (memory-bound): każdy token wymaga osobnego przebiegu modelu, więc generacja słabo wykorzystuje moc obliczeniową GPU. Wcześniejsze wersje EAGLE przyspieszały ten proces, ale ich zysk słabo skalował się wraz z ilością danych treningowych z powodu ograniczeń predykcji cech. EAGLE-3 rozwiązuje ten problem skalowalności, pozwalając modelowi szkicującemu poprawiać się wraz ze wzrostem danych treningowych.
Komponenty
Lekka sieć autoregresyjna generująca tanie propozycje tokenów, które model docelowy sprawdza w jednym przebiegu.
Łączy reprezentacje z niskich, średnich i wysokich warstw modelu docelowego zamiast polegać wyłącznie na cechach z warstwy najwyższej.
Symuluje podczas treningu wielokrokową generację modelu szkicującego, ograniczając rozbieżność trening–inferencja i umożliwiając rezygnację z predykcji cech.
Kandydujące tokeny układane są w drzewo (dynamiczne drzewa szkicu z EAGLE-2) i weryfikowane równolegle; akceptowane są najdłuższe poprawne ścieżki.
Implementacja
Model szkicujący trenowany bez symulacji wielokrokowej generacji osiąga niższy współczynnik akceptacji podczas inferencji.
Model szkicujący trenuje się per model docelowy; współczynnik akceptacji i przyspieszenie zależą od zgodności rozkładów.
Ewolucja
Wprowadzenie autoregresji na poziomie cech (feature-level) dla speculative sampling (ICML 2024).
Dynamiczne drzewa szkicu (dynamic draft trees) zwiększające współczynnik akceptacji (EMNLP 2024).
Rezygnacja z predykcji cech na rzecz bezpośredniej predykcji tokenów i fuzji cech z wielu warstw; technika training-time test (arXiv marzec 2025, przyjęta na NeurIPS 2025).
Hiperparametry (konfigurowalne osie)
Liczba kandydujących tokenów w drzewie weryfikowanych na jeden przebieg modelu docelowego; wpływa na współczynnik akceptacji i przyspieszenie.
Wybór warstw modelu docelowego (niskie/średnie/wysokie) łączonych jako wejście modelu szkicującego.
Równoległość
Wiele kandydujących tokenów (drzewo szkicu) jest weryfikowanych równolegle w jednym przebiegu modelu docelowego, podczas gdy model szkicujący pozostaje autoregresyjny.
Wymagania sprzętowe
Łagodzi ograniczenie pamięciowe (memory-bound) dekodowania na GPU, lepiej wykorzystując moc obliczeniową; benchmarkowane m.in. na kartach RTX 3090.
Metoda działa na poziomie algorytmu dekodowania i nie wymaga konkretnego sprzętu; została zintegrowana z wieloma frameworkami serwującymi.