Robocikowo>ROBOCIKOWO
Wnioskowanie

Kaskada modeli (model cascade)

2001AktywnyOpublikowano: 17 listopada 2026Aktualizacja: 17 listopada 2026Opublikowany
Kaskada modeli to technika inferencji, w której zapytanie przechodzi przez sekwencję modeli uporządkowanych od tanich/szybkich do drogich/dokładnych. Mechanizm deferralu (oparty na pewności odpowiedzi) decyduje, czy przyjąć wynik tańszego modelu, czy eskalować do kolejnego. Pozwala znacząco obniżyć średni koszt przy zachowaniu jakości.
Kluczowa innowacja
Zamiast używać jednego dużego modelu do każdego zapytania, kieruje łatwe przypadki do tanich modeli, a tylko trudne eskaluje do drogich — obniżając średni koszt inferencji bez istotnej utraty jakości.
Kategoria
Wnioskowanie
Poziom abstrakcji
Technika
Poziom operacji
InferencjaUdostępnianie
Zastosowania
Redukcja kosztów inferencji LLM (tani model + eskalacja do mocniejszego)Szybka detekcja obiektów (kaskadowe klasyfikatory, np. Viola-Jones)Moderacja treści: tani filtr wstępny, kosztowny model dla przypadków granicznychRouting zapytań w systemach z wieloma modelami o różnym koszcie

Jak działa

1) Uszereguj modele od najtańszego do najdroższego (np. mały, średni, duży). 2) Zdefiniuj sygnał pewności dla każdego etapu: prawdopodobieństwo, margines, entropia, kalibrowana ufność lub odrębny model-weryfikator. 3) Dla danego wejścia uruchom etap 1; jeśli pewność przekracza próg deferralu, zaakceptuj odpowiedź (early exit). 4) W przeciwnym razie eskaluj do następnego etapu i powtórz. 5) Ostatni etap zawsze zwraca odpowiedź (brak dalszej eskalacji). 6) Dostrój progi, aby osiągnąć zadany kompromis koszt/jakość; progi można kalibrować na zbiorze walidacyjnym, minimalizując koszt przy ograniczeniu spadku dokładności.

Rozwiązany problem

Rozwiązuje napięcie między kosztem a jakością inferencji: największe modele są dokładne, ale drogie i wolne, a stosowanie ich do każdego — także łatwego — zapytania marnuje zasoby. Kaskada płaci wysoki koszt tylko za trudne przypadki, które faktycznie tego wymagają.

Komponenty

Uporządkowane etapy modeliDostarczają kolejne poziomy jakości odpowiedzi.

Sekwencja modeli o rosnącym koszcie i dokładności, od najtańszego do najdroższego.

Oficjalna

Estymator pewnościDostarcza podstawy do decyzji o eskalacji.

Sygnał oceniający wiarygodność odpowiedzi etapu: prawdopodobieństwo, margines, entropia, kalibrowana ufność lub weryfikator.

Reguła deferralu / progu eskalacjiSteruje kompromisem koszt/jakość całej kaskady.

Próg decyzyjny porównujący pewność z wartością graniczną i wybierający early exit lub eskalację.

Ewolucja

Oryginalny paper · 2001 · CVPR 2001 · Paul Viola
Rapid Object Detection using a Boosted Cascade of Simple Features
Paul Viola, Michael Jones
2001
Kaskadowy klasyfikator Violi-Jonesa
Punkt przełomowy

Kaskada prostych klasyfikatorów umożliwia szybką detekcję twarzy w czasie rzeczywistym — klasyczny przykład kaskady.

2017
Early-exit w sieciach głębokich

Architektury z wczesnym wyjściem (np. BranchyNet) wprowadzają ideę kaskady wewnątrz jednej sieci.

2023
Kaskady LLM dla redukcji kosztów
Punkt przełomowy

Podejścia typu FrugalGPT pokazują, że kaskada tanich i drogich LLM obniża koszt inferencji przy zachowaniu jakości.

Hiperparametry (konfigurowalne osie)

Próg deferraluKrytyczna

Wartość graniczna pewności decydująca o akceptacji vs eskalacji; główny regulator kompromisu koszt/jakość.

0.9Wysoki próg: więcej eskalacji, wyższa jakość, wyższy koszt.
0.6Niski próg: więcej early exit, niższy koszt.
Liczba etapówŚrednia

Ile modeli tworzy kaskadę; więcej etapów daje drobniejszą gradację kosztu, ale komplikuje kalibrację progów.

2Najczęstsze: tani + drogi.
3+Drobniejsza gradacja kosztu.

Złożoność obliczeniowa

Złożoność czasowa: E[cost] = c1 + (1-p1)·c2 + (1-p1)(1-p2)·c3 + ....

Paradygmat wykonania

Tryb główny
Warunkowy

Dla łatwych wejść aktywny jest tylko pierwszy etap; drogie modele pozostają nieaktywne.

Wzorzec aktywacji
Zależne od etapu
Tryby dodatkowe
Rzadki
Mechanizm routingu

Routing warunkowy: dalsze, droższe modele są aktywowane tylko, gdy pewność tańszego etapu nie przekracza progu.

Równoległość

Poziom równoległości
Sekwencyjny

Pojedyncze wejście jest przetwarzane sekwencyjnie między etapami, ale wiele wejść można przetwarzać równolegle (batch) w obrębie każdego etapu.

Zakres
Inferencja
Ograniczenia
!Decyzja o uruchomieniu kolejnego etapu zależy od wyniku poprzedniego, więc etapy dla jednego wejścia są z natury sekwencyjne.

Wymagania sprzętowe

Podstawowe

Kaskada to technika orkiestracji nad modelami; działa na dowolnym sprzęcie, na którym działają modele składowe.