Embedded Evaluations
Jak działa
System AI jest instrumentowany tak, by każde (lub próbkowane) wyjście modelu było zapisywane jako ślad (trace) wraz z kontekstem. Do śladów podpina się evaluatory uruchamiane automatycznie: sędzia-LLM oceniający jakość/bezpieczeństwo bez odpowiedzi referencyjnej, mniejsze modele klasyfikujące lub proste reguły i wyrażenia regularne. W trybie monitoringu wyniki ewaluacji zasilają dashboardy, wykrywanie anomalii i alerty (ewaluacja online). W trybie guardrail sprawdzenie jest wbudowane w ścieżkę żądanie–odpowiedź i wykonywane synchronicznie: jeśli odpowiedź nie przejdzie kontroli, zostaje zablokowana, poprawiona lub przekazana człowiekowi, zanim dotrze do użytkownika. Koszt i opóźnienie kontroluje się przez próbkowanie, filtry i rezerwowanie najcięższych sprawdzeń dla krytycznych ryzyk. Wyniki zasilają też dłuższą pętlę: budowę zbiorów do ewaluacji offline i dostrajanie systemu.
Rozwiązany problem
Ewaluacja offline na statycznych datasetach nie wychwytuje, jak model zachowuje się na rzeczywistym, zmiennym ruchu produkcyjnym — nowych typach zapytań, driftach, przypadkach brzegowych i zagrożeniach bezpieczeństwa. Ewaluacje wbudowane rozwiązują to, oceniając wyjścia w miejscu i czasie ich powstawania oraz umożliwiając reakcję (alert lub blokadę) zanim zła odpowiedź dotrze do użytkownika.