Kaskada modeli (model cascade)
Jak działa
1) Uszereguj modele od najtańszego do najdroższego (np. mały, średni, duży). 2) Zdefiniuj sygnał pewności dla każdego etapu: prawdopodobieństwo, margines, entropia, kalibrowana ufność lub odrębny model-weryfikator. 3) Dla danego wejścia uruchom etap 1; jeśli pewność przekracza próg deferralu, zaakceptuj odpowiedź (early exit). 4) W przeciwnym razie eskaluj do następnego etapu i powtórz. 5) Ostatni etap zawsze zwraca odpowiedź (brak dalszej eskalacji). 6) Dostrój progi, aby osiągnąć zadany kompromis koszt/jakość; progi można kalibrować na zbiorze walidacyjnym, minimalizując koszt przy ograniczeniu spadku dokładności.
Rozwiązany problem
Rozwiązuje napięcie między kosztem a jakością inferencji: największe modele są dokładne, ale drogie i wolne, a stosowanie ich do każdego — także łatwego — zapytania marnuje zasoby. Kaskada płaci wysoki koszt tylko za trudne przypadki, które faktycznie tego wymagają.
Komponenty
Sekwencja modeli o rosnącym koszcie i dokładności, od najtańszego do najdroższego.
Oficjalna
Sygnał oceniający wiarygodność odpowiedzi etapu: prawdopodobieństwo, margines, entropia, kalibrowana ufność lub weryfikator.
Próg decyzyjny porównujący pewność z wartością graniczną i wybierający early exit lub eskalację.
Ewolucja
Kaskada prostych klasyfikatorów umożliwia szybką detekcję twarzy w czasie rzeczywistym — klasyczny przykład kaskady.
Architektury z wczesnym wyjściem (np. BranchyNet) wprowadzają ideę kaskady wewnątrz jednej sieci.
Podejścia typu FrugalGPT pokazują, że kaskada tanich i drogich LLM obniża koszt inferencji przy zachowaniu jakości.
Hiperparametry (konfigurowalne osie)
Wartość graniczna pewności decydująca o akceptacji vs eskalacji; główny regulator kompromisu koszt/jakość.
Ile modeli tworzy kaskadę; więcej etapów daje drobniejszą gradację kosztu, ale komplikuje kalibrację progów.
Złożoność obliczeniowa
Złożoność czasowa: E[cost] = c1 + (1-p1)·c2 + (1-p1)(1-p2)·c3 + ....
Paradygmat wykonania
Dla łatwych wejść aktywny jest tylko pierwszy etap; drogie modele pozostają nieaktywne.
Routing warunkowy: dalsze, droższe modele są aktywowane tylko, gdy pewność tańszego etapu nie przekracza progu.
Równoległość
Pojedyncze wejście jest przetwarzane sekwencyjnie między etapami, ale wiele wejść można przetwarzać równolegle (batch) w obrębie każdego etapu.
Wymagania sprzętowe
Kaskada to technika orkiestracji nad modelami; działa na dowolnym sprzęcie, na którym działają modele składowe.