HITL
Jak działa
1. System AI wykonuje swoje zadanie (predykcja, akcja agenta, generacja odpowiedzi) i jednocześnie wylicza sygnał decyzyjny — najczęściej pewność (confidence), poziom ryzyka akcji lub etykietę „wymagana akceptacja". 2. Router HITL porównuje sygnał z progiem lub regułą: jeśli pewność wysoka i akcja niskiego ryzyka → autopilot; jeśli niska / ryzyko wysokie → przekierowanie do człowieka. 3. Człowiek otrzymuje pełen kontekst (wejście, propozycję modelu, alternatywy, uzasadnienie) w interfejsie (UI review, ticket, kolejka annotacji). 4. Decyzja człowieka (zatwierdź / zmień / odrzuć / oznacz) jest aplikowana: w trybie runtime — wykonanie kontynuuje się z poprawioną akcją; w trybie uczenia — decyzja jest zapisywana jako etykieta lub preferencja do datasetu. 5. (Opcjonalnie) zebrane decyzje są okresowo używane do fine-tuningu lub RLHF, dzięki czemu w długim okresie próg autopilotu rośnie i obciążenie człowieka spada.
Rozwiązany problem
W pełni autonomiczne systemy AI mają trzy słabe punkty: są podatne na halucynacje i błędy o wysokim koszcie, nie potrafią uczyć się efektywnie tylko z surowych danych (brak preferencji), i są niemożliwe do certyfikacji w domenach regulowanych (medycyna, finanse, prawo) bez audytowalnego punktu decyzji człowieka. HITL adresuje wszystkie trzy: zapewnia bramkę bezpieczeństwa dla akcji ryzykownych, dostarcza skoncentrowany sygnał treningowy tam, gdzie model jest najsłabszy, i tworzy jawny ślad ludzkiej odpowiedzialności.
Komponenty
Model lub agent generujący propozycję akcji / predykcję / odpowiedź wraz z sygnałem pewności lub poziomem ryzyka.
Oficjalna
Reguła lub klasyfikator decydujący, czy daną sprawę można rozstrzygnąć automatycznie, czy wymaga człowieka. Może być progiem pewności, listą typów akcji lub osobnym modelem ryzyka.
Oficjalna
Operator, ekspert domenowy lub annotator — odbiorca eskalowanych spraw. W zależności od trybu HITL: zatwierdza akcję, etykietuje dane lub wybiera preferencję.
Powierzchnia pokazująca człowiekowi pełen kontekst sprawy (wejście, propozycja, uzasadnienie, alternatywy). Może być inboxem, ticketem, narzędziem annotacji lub IDE.
Oficjalna
Persystencja decyzji ludzi (akceptacja/zmiana/odrzucenie + uzasadnienie). Wykorzystywana do audytu oraz jako dataset dla późniejszego fine-tuningu / RLHF.
Oficjalna
Implementacja
Recenzenci zaczynają mechanicznie zatwierdzać sugestie modelu, zwłaszcza gdy dominują one trafnością. HITL przestaje być realnym filtrem, a staje się rytuałem.
Próg eskalacji ustawiony zbyt nisko zalewa zespół recenzentów, generując długie kolejki, dryft jakości i wypalenie.
Decyzje wąskiej grupy recenzentów stają się sygnałem treningowym — model dziedziczy ich uprzedzenia kulturowe, językowe, branżowe. Szczególnie groźne w RLHF.
Recenzent dostaje samą propozycję bez wejścia, alternatyw lub historii — decyzje stają się losowe, jakość spada do poziomu szumu.
Decyzje człowieka są używane tylko runtime, ale nigdy nie wracają do modelu — koszt operacyjny rośnie liniowo z ruchem, model nigdy się nie poprawia.
Ewolucja
Cohn, Atlas, Ladner formalizują active learning — uczenie z selektywnym zapytywaniem człowieka o etykiety, jedna z pierwszych rygorystycznych form HITL.
Burr Settles publikuje wpływowy przegląd metod active learning — uncertainty sampling, query-by-committee, expected model change — utrwalając metodologię HITL w ML.
Christiano i in. (OpenAI / DeepMind) pokazują, że można trenować polityki RL na podstawie ludzkich porównań — fundament późniejszego RLHF i HITL w generative AI.
OpenAI publikuje InstructGPT — pierwszy duży produkt LLM zbudowany na ludzkich preferencjach. HITL staje się standardem post-trainingu modeli fundamentowych.
Frameworki agentowe (LangChain, Auto-GPT) wprowadzają jawne tryby „human_approval" przed wykonaniem akcji ryzykownych — HITL w runtime LLM.
LangGraph wprowadza pierwszorzędowy mechanizm interrupt — agent może zatrzymać graf, oczekiwać decyzji człowieka i wznowić wykonanie. HITL jako natywny prymityw orkiestracji.
Hiperparametry (konfigurowalne osie)
Próg pewności / ryzyka, powyżej którego sprawa idzie do człowieka. Niższy próg = wyższe bezpieczeństwo, wyższy koszt operacyjny.
Tryb działania pętli: approval gate, active learning, preference collection, fallback. Determinuje rolę człowieka i kierunek przepływu danych.
Oczekiwany czas reakcji człowieka. Wpływa na to, czy HITL może być synchroniczny (blokujący przepływ) czy asynchroniczny (offline batch).
Ile kontekstu (wejście, alternatywy, uzasadnienie modelu, historia) pokazuje się człowiekowi. Wpływa na jakość decyzji i czas review.
Czy decyzje ludzi są okresowo wykorzystywane do fine-tuningu / RLHF. Włącza długoterminową poprawę modelu.
Paradygmat wykonania
Charakterystyczny tryb: większość przepływu autonomicznego, mniejszość spraw warunkowo aktywuje człowieka — funkcja kosztu jest hybrydowa (latencja vs ryzyko).
Polityka routingu kieruje sprawę do autopilotu lub do człowieka w zależności od pewności modelu, typu akcji lub jawnej reguły bezpieczeństwa.
Równoległość
Wiele spraw może być równolegle przetwarzanych przez model i równolegle recenzowanych przez wielu operatorów. Pojedyncza sprawa jest sekwencyjna (propozycja → decyzja → wykonanie).
Wymagania sprzętowe
HITL jest wzorcem orkiestracji człowiek–system, nie wymaga konkretnego hardware. Komponent AI w pętli może być dowolnym modelem na dowolnej platformie.