Typowy przepływ Model Routing: (1) Klasyfikacja zapytania - router (uczony klasyfikator lub reguły) ekstrahuje cechy: długość promptu, wykryta domena (kod, matematyka, kreatywne pisanie), złożoność (heurystyka lub score z małego LLM sędziego), historyczne success rate podobnych zadań; (2) Wybór modelu - router porównuje cechy z profilem każdego kandydata (koszt/token, latencja p50/p99, jakość na benchmarkach domenowych, aktualna dostępność) i wybiera najlepszy pod aktualną politykę optymalizacji; (3) Wywołanie i weryfikacja - request trafia do wybranego modelu, opcjonalnie z weryfikatorem (testy, execution check, LLM-jako-sędzia); (4) Eskalacja/fallback - jeśli weryfikator odrzuci odpowiedź lub model padnie, router iteracyjnie eskalauje do silniejszego kandydata. Warianty: routing offline (przed inferencją), online (w trakcie streamu), agentowy (per krok w łańcuchu narzędzi), speculative (równoległe wywołania z quorum votingiem).
Frontier LLMs są drogie (GPT-5 na poziomie $10-30 za 1M tokenów), a różnice jakości względem tańszych modeli ($0.10-1.00 za 1M) są marginalne dla większości realnych zadań. Bez routingu użytkownik płaci flagowy model także za trywialne zapytania. Model Routing rozwiązuje ten wybór 'jeden model do wszystkiego', dynamicznie dopasowując moc obliczeniową do faktycznej trudności zadania i kryteriów biznesowych (koszt, latencja, prywatność, dostępność).
Komponent decyzyjny - może być regułowy (jeśli-to), klasyfikator ML (LoRA na małym LLM sędziu, np. Qwen 0.8B), MoA (mixture-of-agents) lub agent LLM wywołujący funkcję routing. Wejście: cechy zapytania. Wyjście: identyfikator modelu z puli kandydatów.
Oficjalna
Rejestr dostępnych modeli backendowych z ich profilami: koszt input/output/cache, latencja p50/p99, wyniki na benchmarkach domenowych, obsługiwane modalności, limity kontekstu, aktualna dostępność (health check). Aktualizowany dynamicznie z metryk produkcyjnych.
Oficjalna
Opcjonalny walidator jakości odpowiedzi wybranego modelu. Warianty: testy jednostkowe (dla kodu), execution check (uruchomienie kodu w sandbox), LLM-as-judge (silniejszy model ocenia słabszy), schema validation (JSON), format checking. Sygnał zwrotny steruje eskalacją.
Oficjalna
Reguła określająca sekwencję prób: cheap_chain (kolejność tanich kandydatów), escalate_to (silniejszy model gdy weryfikator odrzuci), maksymalna liczba prób k, budżet zapytania. Kluczowa dla agentowych routerów typu ACRouter.
Oficjalna
Zbieranie danych produkcyjnych: per-request decision, chosen_model, koszty, latencja, wynik weryfikatora, feedback użytkownika. Zasila trening lub tuning routera (offline retraining lub online RL). Bez tego routing degeneruje się do statycznych reguł.
Gdy routerem jest silny LLM, koszt jego decyzji może przewyższyć oszczędność na wybraniu taniego modelu - anty-wzorzec 'router-as-a-tax'.
Zły weryfikator akceptuje słabe odpowiedzi (false positive) lub odrzuca dobre (false negative). W obu przypadkach routing degeneruje się - zawsze eskalauje lub zawsze zostaje na tanim.
Router wytrenowany na Chatbot Arena danych działa słabiej na realnych coding requests. Bez feedback loop routing degeneruje się w czasie.
Try-then-escalate szeregowo kumuluje latencję: tani model (2s) + verify (0.5s) + drogi model (5s) = 7.5s zamiast 5s bez routingu. Krytyczne dla real-time UX.
Kaskadowanie logiki biznesowej w routerze (prompty, weryfikatory, polityki) tworzy nowy silos - trudno przenieść na inny provider routingu bez re-designu.
Chen, Zaharia, Zou (arXiv 2305.05176) pokazują, że kaskada LLM (tani → drogi z warunkiem) potrafi obniżyć koszt 98% przy zachowaniu jakości GPT-4 na wybranych zadaniach.
Anyscale opisuje produkcyjne routing OSS + closed-source dla obniżenia kosztu - pierwsze publiczne case-study routera w firmie.
Serwis oferuje jedno API do setek modeli z automatyczną selekcją i fallbackiem - upowszechnia wzorzec dla developerów.
Framework open-source do treningu routerów (matrix factorization, BERT classifier) z Chatbot Arena danych - pierwsza publikowana metodologia treningu ML routera.
Startupy pozycjonujące routing jako główny produkt - koniec fazy 'router w bibliotece', początek 'router jako SaaS'.
Zhou et al. (arXiv 2606.22902) - router jako agent LLM z eskalacją i weryfikatorem, benchmarki OOD176 i CodeRouterBench. Wprowadza koncept 'agentic routing' oraz demonstruje integrację z Claude Code / Codex / Opencode.
Liczba modeli dostępnych routerowi. Więcej = większa granularność wyboru i lepsza optymalizacja Pareto, ale też koszt katalogu, monitoringu i decyzji.
Wariant komponentu decyzyjnego. Wpływa na złożoność, kosz decyzji, jakość i tunability.
Metryka minimalizowana/maksymalizowana przez routera - fundamentalnie kształtuje politykę decyzyjną.
Maksymalna liczba prób routera na jedno zapytanie - kontroluje worst-case koszt.
Kluczowe odróżnienie od MoE: MoE routuje między ekspertami-podsieciami w jednej sieci trenowanej end-to-end. Model Routing routuje między niezależnie trenowanymi, często heterogenicznymi modelami różnych producentów.
Router jest zewnętrzny wobec modeli backendowych - nie wagi wewnątrz jednej sieci (jak w MoE), lecz warstwa infrastrukturalna wybierająca całą jednostkę modelu do wywołania.
Routing sekwencyjny w wariancie try-then-escalate (weryfikator musi dostać wynik przed decyzją o eskalacji). Wariant speculative uruchamia N kandydatów równolegle i wybiera quorum - większy koszt, niższa latencja.
Model Routing jest wzorcem infrastrukturalnym - działa na dowolnym hardware, na którym uruchomione są kandydaci. Sam router (klasyfikator LoRA lub reguły) jest lekki i nie ma preferencji sprzętowych.
Klasyczne routery regułowe lub małe klasyfikatory (BERT, DistilBERT, Qwen 0.5B) świetnie działają na CPU - opóźnienie decyzji <50ms bez wysyłania do GPU.
