Robocikowo>ROBOCIKOWO
Wnioskowanie

DFlash

2026BadawczyOpublikowano: 19 listopada 2026Aktualizacja: 19 listopada 2026Opublikowany
DFlash to framework dekodowania spekulatywnego dla LLM, w którym rolę modelu szkicującego pełni lekki model block-diffusion generujący tokeny równolegle w jednym przebiegu forward. Model szkicujący jest warunkowany cechami kontekstu wyekstrahowanymi z modelu docelowego, co podnosi jakość szkiców i współczynnik akceptacji.
Kluczowa innowacja
Zastępuje sekwencyjne, autoregresyjne szkicowanie w dekodowaniu spekulatywnym lekkim modelem block-diffusion, który generuje cały blok tokenów szkicu w pojedynczym przebiegu forward.
Kategoria
Wnioskowanie
Poziom abstrakcji
Technika
Poziom operacji
InferencjaUdostępnianie
Zastosowania
Przyspieszanie inferencji dużych modeli językowychRedukcja opóźnienia generowania w aplikacjach czasu rzeczywistego (chatboty, asystenci)Zwiększanie przepustowości i wykorzystania GPU podczas serwowania LLMBezstratna akceleracja dekodowania bez zmiany jakości wyjścia modelu docelowego

Jak działa

1) Lekki model szkicujący typu block-diffusion generuje cały blok kandydujących tokenów szkicu w jednym przebiegu forward, zamiast tworzyć je sekwencyjnie. 2) Model szkicujący jest warunkowany cechami kontekstu wyekstrahowanymi z modelu docelowego, co zwiększa trafność szkiców. 3) Model docelowy weryfikuje blok tokenów szkicu równolegle. 4) Zaakceptowane tokeny są zachowywane, a proces pozostaje bezstratny — rozkład wyjścia modelu docelowego nie ulega zmianie.

Rozwiązany problem

Autoregresyjne LLM dekodują sekwencyjnie, token po tokenie, co powoduje wysokie opóźnienie inferencji i słabe wykorzystanie GPU. Dotychczasowe dekodowanie spekulatywne łagodzi ten problem, ale sam model szkicujący wciąż działa autoregresyjnie i sekwencyjnie, co ogranicza realne przyspieszenie.

Kluczowe mechanizmy

Block-diffusion drafting — generowanie bloku tokenów szkicu w jednym przebiegu forward
Warunkowanie modelu szkicującego cechami kontekstu z modelu docelowego
Równoległa weryfikacja tokenów szkicu przez model docelowy
Bezstratna akceptacja tokenów zachowująca rozkład modelu docelowego

Mocne strony i ograniczenia

Mocne strony
✓Ponad 6× bezstratnego przyspieszenia w różnych modelach i zadaniach (wg pracy źródłowej)
✓Do 2,5× wyższe przyspieszenie niż SOTA EAGLE-3 (wg pracy źródłowej)
✓Równoległe szkicowanie eliminuje sekwencyjne wąskie gardło szkiców autoregresyjnych
✓Wyższy współczynnik akceptacji dzięki warunkowaniu na cechach modelu docelowego
✓Bezstratność — nie zmienia jakości wyjścia modelu docelowego
Ograniczenia
✗Wymaga wytrenowania osobnego modelu szkicującego (block-diffusion) dopasowanego do modelu docelowego
✗Rzeczywiste przyspieszenie zależy od współczynnika akceptacji, który różni się między modelami i zadaniami
✗Modele dyfuzyjne historycznie ustępują jakością modelom autoregresyjnym — DFlash łagodzi to warunkowaniem na cechach modelu docelowego

Komponenty

Block-diffusion draft modelModel szkicujący

Lekki model dyfuzyjny typu block-diffusion, który generuje cały blok tokenów szkicu w jednym przebiegu forward, zamiast sekwencyjnie.

Oficjalna

Context-feature conditioningWarunkowanie

Mechanizm warunkujący model szkicujący cechami kontekstu wyekstrahowanymi z modelu docelowego, co zwiększa jakość szkiców i współczynnik akceptacji.

Target model verifierWeryfikator

Model docelowy (duży LLM) weryfikujący blok tokenów szkicu równolegle i gwarantujący bezstratność generacji.

Ewolucja

Oryginalny paper · 2026 · ICML 2026 · Jian Chen
DFlash: Block Diffusion for Flash Speculative Decoding
Jian Chen, Yesheng Liang, Zhijian Liu
2026
Publikacja DFlash
Punkt przełomowy

Wprowadzenie DFlash — dekodowania spekulatywnego z lekkim modelem block-diffusion jako szkicującym; zaakceptowane na ICML 2026, z publicznym kodem.

Złożoność obliczeniowa

Charakterystyki obliczeniowe
→Szkicowanie: pojedynczy przebieg forward modelu block-diffusion (równoległe generowanie bloku tokenów)
→Weryfikacja: równoległy przebieg modelu docelowego po bloku tokenów szkicu
→Cel: poprawa wykorzystania GPU i redukcja opóźnienia pamięciowo-ograniczonego dekodowania autoregresyjnego
Uwagi do benchmarku

Według pracy źródłowej DFlash osiąga ponad 6× bezstratnego przyspieszenia w szeregu modeli i zadań oraz do 2,5× wyższe przyspieszenie niż metoda SOTA EAGLE-3. Szczegółowe wyniki per model/zadanie znajdują się w pracy (arXiv:2602.06036, ICML 2026).

Równoległość

Poziom równoległości
W pełni równoległy

Szkicowanie generuje cały blok tokenów równolegle w jednym przebiegu forward, a weryfikacja modelu docelowego odbywa się równolegle na całym bloku.

Zakres
InferencjaPomiędzy tokenami

Wymagania sprzętowe

Podstawowe

Metoda celuje w poprawę wykorzystania GPU i redukcję opóźnienia inferencji LLM; równoległe szkicowanie i weryfikacja wykorzystują równoległość akceleratorów GPU.