Robocikowo>ROBOCIKOWO
Wnioskowanie

EAGLE-3

2025AktywnyOpublikowano: 19 listopada 2026Aktualizacja: 19 listopada 2026Opublikowany
Zaawansowana metoda speculative decoding przyspieszająca inferencję LLM; trzecia wersja rodziny EAGLE, wykorzystuje fuzję cech z wielu warstw i training-time test.
Kluczowa innowacja
Usuwa ograniczenie predykcji cech obecne w EAGLE/EAGLE-2 i zastępuje je bezpośrednią predykcją tokenów z fuzją cech z wielu warstw, dzięki czemu model szkicujący w pełni korzysta ze skalowania danych treningowych.
Kategoria
Wnioskowanie
Poziom abstrakcji
Technika
Poziom operacji
InferencjaUdostępnianie
Zastosowania
Przyspieszanie inferencji LLMSerwowanie modeli językowych o niskim opóźnieniuZwiększanie przepustowości generacji w systemach produkcyjnychDekodowanie modeli czatowych i rozumujących

Jak działa

1) Model szkicujący generuje drzewo kandydujących tokenów. 2) Zamiast przewidywać cechy warstwy docelowej (jak EAGLE-1/2), EAGLE-3 bezpośrednio przewiduje tokeny, wykorzystując fuzję cech z niskich, średnich i wysokich warstw modelu docelowego. 3) Technika „training-time test" symuluje podczas treningu wielokrokową generację modelu szkicującego, ograniczając rozbieżność między treningiem a inferencją. 4) Model docelowy weryfikuje całe drzewo kandydatów w jednym przebiegu; akceptowane są najdłuższe poprawne ścieżki, co gwarantuje wynik tożsamy ze standardowym dekodowaniem (lossless).

Rozwiązany problem

Autoregresyjne dekodowanie w LLM jest ograniczone pamięciowo (memory-bound): każdy token wymaga osobnego przebiegu modelu, więc generacja słabo wykorzystuje moc obliczeniową GPU. Wcześniejsze wersje EAGLE przyspieszały ten proces, ale ich zysk słabo skalował się wraz z ilością danych treningowych z powodu ograniczeń predykcji cech. EAGLE-3 rozwiązuje ten problem skalowalności, pozwalając modelowi szkicującemu poprawiać się wraz ze wzrostem danych treningowych.

Komponenty

Model szkicujący (draft model)Proponuje kandydujące tokeny weryfikowane przez model docelowy

Lekka sieć autoregresyjna generująca tanie propozycje tokenów, które model docelowy sprawdza w jednym przebiegu.

Fuzja cech z wielu warstwDostarcza modelowi szkicującemu bogatszy sygnał wejściowy

Łączy reprezentacje z niskich, średnich i wysokich warstw modelu docelowego zamiast polegać wyłącznie na cechach z warstwy najwyższej.

Training-time testProcedura treningowa modelu szkicującego

Symuluje podczas treningu wielokrokową generację modelu szkicującego, ograniczając rozbieżność trening–inferencja i umożliwiając rezygnację z predykcji cech.

Drzewo szkicu i weryfikacjaWeryfikacja wielu kandydatów w jednym przebiegu

Kandydujące tokeny układane są w drzewo (dynamiczne drzewa szkicu z EAGLE-2) i weryfikowane równolegle; akceptowane są najdłuższe poprawne ścieżki.

Implementacja

Pułapki implementacyjne
Rozbieżność trening–inferencja modelu szkicującegoŚrednia

Model szkicujący trenowany bez symulacji wielokrokowej generacji osiąga niższy współczynnik akceptacji podczas inferencji.

Rozwiązanie:Zastosowanie techniki training-time test, która jest rdzeniem EAGLE-3.
Zależność od dopasowania do modelu docelowegoŚrednia

Model szkicujący trenuje się per model docelowy; współczynnik akceptacji i przyspieszenie zależą od zgodności rozkładów.

Rozwiązanie:Trening modelu szkicującego na danych/rozkładzie zgodnym z modelem docelowym.

Ewolucja

Oryginalny paper · 2025 · NeurIPS 2025 · Yuhui Li
EAGLE-3: Scaling up Inference Acceleration of Large Language Models via Training-Time Test
Yuhui Li, Fangyun Wei, Chao Zhang, Hongyang Zhang
2023
Publikacja EAGLE-1
Punkt przełomowy

Wprowadzenie autoregresji na poziomie cech (feature-level) dla speculative sampling (ICML 2024).

EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty (artykuł)
2024
Publikacja EAGLE-2

Dynamiczne drzewa szkicu (dynamic draft trees) zwiększające współczynnik akceptacji (EMNLP 2024).

EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees (artykuł)
2025
Publikacja EAGLE-3
Punkt przełomowy

Rezygnacja z predykcji cech na rzecz bezpośredniej predykcji tokenów i fuzji cech z wielu warstw; technika training-time test (arXiv marzec 2025, przyjęta na NeurIPS 2025).

Hiperparametry (konfigurowalne osie)

Rozmiar drzewa szkicu / tokeny na krokWysoka

Liczba kandydujących tokenów w drzewie weryfikowanych na jeden przebieg modelu docelowego; wpływa na współczynnik akceptacji i przyspieszenie.

Warstwy łączone w fuzji cechŚrednia

Wybór warstw modelu docelowego (niskie/średnie/wysokie) łączonych jako wejście modelu szkicującego.

Równoległość

Poziom równoległości
Częściowo równoległy

Wiele kandydujących tokenów (drzewo szkicu) jest weryfikowanych równolegle w jednym przebiegu modelu docelowego, podczas gdy model szkicujący pozostaje autoregresyjny.

Zakres
InferencjaPomiędzy tokenami

Wymagania sprzętowe

Podstawowe

Łagodzi ograniczenie pamięciowe (memory-bound) dekodowania na GPU, lepiej wykorzystując moc obliczeniową; benchmarkowane m.in. na kartach RTX 3090.

Dobry fit

Metoda działa na poziomie algorytmu dekodowania i nie wymaga konkretnego sprzętu; została zintegrowana z wieloma frameworkami serwującymi.