DFlash
Jak działa
1) Lekki model szkicujący typu block-diffusion generuje cały blok kandydujących tokenów szkicu w jednym przebiegu forward, zamiast tworzyć je sekwencyjnie. 2) Model szkicujący jest warunkowany cechami kontekstu wyekstrahowanymi z modelu docelowego, co zwiększa trafność szkiców. 3) Model docelowy weryfikuje blok tokenów szkicu równolegle. 4) Zaakceptowane tokeny są zachowywane, a proces pozostaje bezstratny — rozkład wyjścia modelu docelowego nie ulega zmianie.
Rozwiązany problem
Autoregresyjne LLM dekodują sekwencyjnie, token po tokenie, co powoduje wysokie opóźnienie inferencji i słabe wykorzystanie GPU. Dotychczasowe dekodowanie spekulatywne łagodzi ten problem, ale sam model szkicujący wciąż działa autoregresyjnie i sekwencyjnie, co ogranicza realne przyspieszenie.
Kluczowe mechanizmy
Mocne strony i ograniczenia
Komponenty
Lekki model dyfuzyjny typu block-diffusion, który generuje cały blok tokenów szkicu w jednym przebiegu forward, zamiast sekwencyjnie.
Oficjalna
Mechanizm warunkujący model szkicujący cechami kontekstu wyekstrahowanymi z modelu docelowego, co zwiększa jakość szkiców i współczynnik akceptacji.
Model docelowy (duży LLM) weryfikujący blok tokenów szkicu równolegle i gwarantujący bezstratność generacji.
Implementacja
Ewolucja
Wprowadzenie DFlash — dekodowania spekulatywnego z lekkim modelem block-diffusion jako szkicującym; zaakceptowane na ICML 2026, z publicznym kodem.
Złożoność obliczeniowa
Według pracy źródłowej DFlash osiąga ponad 6× bezstratnego przyspieszenia w szeregu modeli i zadań oraz do 2,5× wyższe przyspieszenie niż metoda SOTA EAGLE-3. Szczegółowe wyniki per model/zadanie znajdują się w pracy (arXiv:2602.06036, ICML 2026).
Równoległość
Szkicowanie generuje cały blok tokenów równolegle w jednym przebiegu forward, a weryfikacja modelu docelowego odbywa się równolegle na całym bloku.
Wymagania sprzętowe
Metoda celuje w poprawę wykorzystania GPU i redukcję opóźnienia inferencji LLM; równoległe szkicowanie i weryfikacja wykorzystują równoległość akceleratorów GPU.