Luka ewaluacyjna agentów AI: połowa firm wdrożyła agenta, który zawiódł klientów

Badanie VentureBeat Research przeprowadzone wśród 157 przedsiębiorstw (lipiec 2026) ujawnia strukturalny problem branży: połowa firm wdrożyła agenta AI, który przeszedł testy wewnętrzne, a następnie zawiódł w produkcji. Tymczasem dwie trzecie tych samych organizacji buduje pipeline zmierzające do wdrożeń bez udziału człowieka — mimo że zaledwie 5% w pełni ufa dziś automatycznej ewaluacji.

Najważniejsze w skrócie

• 50% badanych firm wdrożyło agenta AI, który przeszedł testy, a następnie wywołał incydent po stronie klienta
• Tylko 5% organizacji w pełni ufa automatycznej ewaluacji agentów
• 66% firm już dopuszcza wdrożenia zero-human-in-the-loop lub aktywnie do nich zmierza
• Główna słabość ewaluacji według respondentów: słabe dopasowanie do realnych warunków produkcyjnych (29%)
• Najbardziej popularne narzędzie ewaluacyjne: natywne ewaluacje OpenAI — remis z brakiem jakiegokolwiek dedykowanego narzędzia (po 17%)

Luka między testem a rzeczywistością

Raport identyfikuje zjawisko, które autorzy określają mianem "luki ewaluacyjnej^?luka ewaluacyjna: Rozdźwięk między zakresem autonomii przyznawanej agentom AI a rzeczywistą wiarygodnością testów, które tę autonomię mają uzasadniać." (evaluation gap): odległości między autonomią przyznawaną agentom AI a zaufaniem do testów, które tę autonomię powinny legitymizować. Połowa organizacji (50%) potwierdziła, że w ciągu ostatnich 12 miesięcy wdrożyła agenta lub funkcję LLM, która przeszła testy wewnętrzne, a następnie spowodowała incydent widoczny dla klienta. Co czwarta firma doświadczyła tego wielokrotnie.

Tylko 36% badanych nie odnotowało żadnego takiego incydentu. Pozostałe 14% albo nie prowadzi testów przed wdrożeniem (8%), albo nie śledzi przyczyn (6%).

Zaufanie do ewaluacji jest minimalne

Zapytani o główną słabość automatycznej ewaluacji, respondenci wskazywali przede wszystkim słabe dopasowanie do realnych warunków produkcji (29%), bias i niespójność wyników (21%) oraz brak wyjaśnialności (18%). Obawy o wyciek danych w procesie ewaluacji zgłosiło 17%.

Tylko 5% oceniło, że w pełni ufa automatycznym testom — co oznacza, że 95% firm ma konkretne zastrzeżenia wobec narzędzi, które jednocześnie stosuje do dopuszczania wdrożeń do produkcji. Narzędzia OpenAI i Anthropic dominują wśród stosowanych ewaluatorów.

Autonomia rośnie szybciej niż zaufanie

Paradoks raportu polega na tym, że mimo tak niskiego poziomu zaufania, branża zmierza ku większej autonomii agentów, a nie mniejszej. 34% firm już dopuszcza wdrożenia bez udziału człowieka dla agentów niskiego ryzyka. Kolejne 33% aktywnie buduje pipeline zmierzające do takiego trybu w ciągu 12 miesięcy. Tylko 22% wyklucza pełną automatyzację wdrożeń w przewidywalnej przyszłości.

Co istotne, najliczniej w kierunku zero-human-in-the-loop^?human-in-the-loop: Model działania, w którym człowiek zatwierdza lub nadzoruje decyzje systemu AI, zanim zaczną obowiązywać. zmierzają większe organizacje (70% firm powyżej 2500 pracowników vs 64% poniżej). Przekonanie, że duże, regulowane firmy są ostrożniejsze — nie potwierdza się w danych.

Narzędzia ewaluacyjne: rynek wczesny i nieskonsylidowany

Stack ewaluacyjny w przedsiębiorstwach jest rozproszony i zdominowany przez narzędzia natywne dostawców modeli. Natywne ewaluacje OpenAI prowadzą z 17%, remisując z grupą firm nieposiadających żadnego dedykowanego narzędzia (też 17%). Natywne ewaluacje Anthropic (Claude Console) mają 13%, DeepEval — 12%, własne rozwiązania wewnętrzne — 11%.

Rynek jest wciąż bardzo wczesny: 64% firm planuje zmienić lub uzupełnić swój stack ewaluacyjny w ciągu roku, a 31% — w ciągu najbliższego kwartału.

Gdzie idą następne pieniądze

Planowane inwestycje wskazują na świadomość problemu: 30% badanych jako główny priorytet podało narzędzia do obserwowalności produkcji, a 26% — workflow z udziałem człowieka (human review). To drugie jest szczególnie wymowne: firmy, które równocześnie budują pipeline bez-human-in-the-loop, zamierzają zwiększyć wydatki na ludzki przegląd. Inwestycje w automatyczne pipeline ewaluacyjne planuje tylko 16%.

Dlaczego to ważne?

Raport precyzyjnie dokumentuje napięcie, które do tej pory było widoczne głównie anegdotycznie: firmy wdrażają agentów AI szybciej, niż są w stanie wiarygodnie je przetestować. To nie jest problem narzędziowy, który więcej testów samo w sobie rozwiąże — autorzy podkreślają, że ewaluacje po prostu nie odzwierciedlają warunków produkcyjnych, co jest problemem fundamentalnym.

Konsekwencje są bezpośrednie dla firm budujących produkty oparte na agentach: pozytywny wynik ewaluacji nie jest równoznaczny ze sprawnym agentem w produkcji. Połowa organizacji musiała się o tym przekonać na własnych klientach. Przy rosnącej autonomii — bez ludzkiego przeglądu każdej zmiany — te incydenty będą skalować się proporcjonalnie.

Dane pokazują też, że rynek narzędzi ewaluacyjnych jest wyjątkowo wczesny: brak dominującego vendora, 17% firm bez żadnego narzędzia, a liderem są natywne ewaluacje dostawców modeli. To otwarta przestrzeń do konsolidacji — i sygnał, że ocena jakości agentów AI jest znacznie trudniejsza, niż wynikałoby z tempa wdrożeń.

Co dalej?

• 64% firm planuje zmianę lub rozszerzenie stack ewaluacyjnego w ciągu 12 miesięcy — kolejna fala adopcji wyspecjalizowanych narzędzi
• VentureBeat zapowiedział kolejne fale badania (Agentic Reliability & Evals tracker) — porównywalne dane pojawią się w kolejnych kwartałach
• Claude Anthropic prowadzi wśród narzędzi rozważanych do zmiany (20% firm go bada), co może zmienić obecny remis OpenAI vs brak narzędzia na szczycie

Źródła

VentureBeat — The agent evaluation gap