Ocena jakości

LLM Judge

2023AktywnyOpublikowano: 10 września 2026Aktualizacja: 10 września 2026Opublikowany

Metoda ewaluacji, w której model językowy pełni rolę sędziego oceniającego odpowiedzi innych modeli — punktowo, przez porównanie parami lub względem odpowiedzi wzorcowej — na podstawie promptu z kryteriami (rubryką).

Kluczowa innowacja

Wykazano, że silny model językowy potrafi oceniać otwarte odpowiedzi zgodnie z preferencjami ludzi (ponad 80% zgodności GPT-4 z człowiekiem na MT-Bench), co pozwoliło zautomatyzować, przyspieszyć i potanić ewaluację generatywnych systemów AI tam, gdzie zawodzą metryki leksykalne, a ocena ludzka jest wolna i droga.

Kategoria

Ocena jakości

Poziom abstrakcji

Wzorzec

Poziom operacji

Ewaluacja (runtime)InferencjaPo-trening

Zastosowania

Automatyczna ewaluacja chatbotów i asystentów (MT-Bench, AlpacaEval, Arena-Hard)Porównywanie modeli parami i rankingi (Chatbot Arena)Ocena systemów RAG (trafność, ugruntowanie, brak halucynacji)Generowanie danych preferencyjnych i sygnału nagrody w RLAIF / DPOOcena bezpieczeństwa i zgodności (red-teaming, filtrowanie treści)Regresyjne testy jakości promptów i modeli w potokach CI/CDOcena streszczeń, tłumaczeń i generacji tekstu według rubryk

Jak działa

Sędziemu-LLM przekazuje się prompt ewaluacyjny składający się z: (1) instrukcji roli i kryteriów oceny (rubryki), (2) kontekstu — pytania lub zadania, (3) ocenianej odpowiedzi (lub dwóch odpowiedzi przy trybie parami), oraz opcjonalnie (4) odpowiedzi wzorcowej. Model najpierw generuje uzasadnienie (rozumowanie krok po kroku, chain-of-thought), a dopiero potem wystawia werdykt — liczbę w małej skali całkowitej (np. 1–5), etykietę zwycięzcy (A/B/remis) lub ocenę według rubryki addytywnej. Wynik jest zwykle wymuszany w strukturze (np. JSON), aby był parsowalny. Aby ograniczyć obciążenia, stosuje się zamianę pozycji odpowiedzi i uśrednianie (bias pozycyjny), normalizację długości (bias wielosłowności), użycie innego modelu niż oceniany (bias autopromocji) oraz ocenę względem odpowiedzi referencyjnej dla zadań wymagających precyzji. Wyniki wielu sędziów lub wielu przebiegów można agregować (panel sędziów, głosowanie).

Rozwiązany problem

Ocena jakości otwartych odpowiedzi generatywnych jest trudna: metryki leksykalne (BLEU, ROUGE) słabo korelują z preferencjami ludzi, a rzetelna ocena ludzka jest wolna, kosztowna i trudna do skalowania. LLM-as-a-Judge dostarcza automatycznej, szybkiej i tanie oceny, która przy silnym modelu-sędzim osiąga wysoką zgodność z ludzkimi ocenami i skaluje się do tysięcy porównań.

Komponenty

Model-sędzia (LLM)Generator oceny

Silny model językowy (np. GPT-4, Claude, Prometheus) generujący ocenę. Jego zdolności rozumowania decydują o wiarygodności ewaluacji.

Sędzia zamknięty (proprietary)Silne modele API (GPT-4, Claude) — wysoka jakość, ale koszt i brak transparentności.

Sędzia open-sourceModele trenowane do oceny (Prometheus, JudgeLM) — tanie, powtarzalne, dostrajalne.

Oficjalna

Prompt ewaluacyjny i rubrykaDefinicja kryteriów oceny

Instrukcja definiująca kryteria oceny, skalę i format wyjścia. Może zawierać rubrykę addytywną i przykłady few-shot.

INPrompt w języku naturalnym z kryteriami i formatem odpowiedzi.

Protokół ocenySposób wyrażania oceny

Wybór trybu: punktowy (pointwise), porównanie parami (pairwise) lub względem odpowiedzi referencyjnej (reference-guided).

PointwisePojedyncza odpowiedź oceniana na skali liczbowej.

PairwisePorównanie dwóch odpowiedzi i wybór lepszej.

Reference-guidedOcena względem odpowiedzi wzorcowej, przydatna przy zadaniach z jedną poprawną odpowiedzią.

Oficjalna

Uzasadnienie (chain-of-thought)Rozumowanie poprzedzające ocenę

Kroki rozumowania generowane przed werdyktem. Poprawiają jakość i przejrzystość oceny (paradygmat G-Eval: CoT + form-filling).

Oficjalna

Agregacja i mitygacja biasówRedukcja szumu i obciążeń

Techniki zwiększające rzetelność: zamiana pozycji i uśrednianie, panel sędziów, głosowanie, normalizacja długości.

Oficjalna

Implementacja

Implementacje referencyjne

FastChat — LLM Judge (MT-Bench)

Python · LMSYS Org

Oficjalna

Prometheus-Eval

Python · Prometheus-Eval

RAGAS — LLM-based RAG evaluation

Python · Exploding Gradients

Hugging Face Cookbook — LLM Judge

Python · Hugging Face

Pułapki implementacyjne

Bias pozycyjnyWysoka

W trybie parami sędzia często faworyzuje odpowiedź na pierwszej (lub drugiej) pozycji niezależnie od jakości.

Rozwiązanie:Ocena obu kolejności (A,B) i (B,A) oraz uśrednienie werdyktów; oznaczanie remisów przy niezgodności.

Bias wielosłownościŚrednia

Sędzia bywa stronniczy wobec dłuższych, bardziej rozbudowanych odpowiedzi, nawet gdy nie są lepsze.

Rozwiązanie:Jawne kryteria zwięzłości w rubryce, kontrola/normalizacja długości, ocena względem referencji.

Bias autopromocjiWysoka

Model-sędzia może faworyzować odpowiedzi wygenerowane przez samego siebie lub przez modele z tej samej rodziny.

Rozwiązanie:Użycie sędziego innego niż oceniany model, panel sędziów różnych dostawców.

Ograniczona zdolność rozumowaniaŚrednia

Sędzia może błędnie oceniać zadania wymagające precyzyjnego rozumowania (matematyka, logika), zawyżając błędne odpowiedzi.

Rozwiązanie:Ocena względem odpowiedzi referencyjnej, wymuszenie CoT, użycie narzędzi/weryfikatorów.

Niestabilność skali i kalibracjiŚrednia

Oceny bezwzględne na szerokiej skali (0–10) są mniej stabilne i słabiej korelują z ludźmi.

Rozwiązanie:Mała skala całkowita (1–5), rubryka addytywna, kotwice few-shot, porównanie parami zamiast ocen bezwzględnych.

Niedeterminizm i wrażliwość na promptŚrednia

Małe zmiany promptu lub temperatura > 0 zmieniają werdykty i utrudniają powtarzalność.

Rozwiązanie:Temperatura 0, ustalony szablon promptu, wymuszone wyjście strukturalne (JSON), wersjonowanie promptów.

Ewolucja

Oryginalny paper · 2023 · NeurIPS 2023 (Datasets and Benchmarks Track) · Lianmin Zheng

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, Ion Stoica

2022

RLAIF / Constitutional AI — informacja zwrotna od AI

Punkt przełomowy

Anthropic pokazuje, że model AI może generować etykiety preferencji i informację zwrotną do alignmentu (RLAIF), co jest bezpośrednim prekursorem użycia LLM jako oceniającego.

CAI (koncept)Constitutional AI: Harmlessness from AI Feedback (artykuł)

2023

G-Eval — CoT + form-filling do ewaluacji NLG

„G-Eval" wykorzystuje GPT-4 z łańcuchem rozumowania i formularzem oceny, uzyskując lepszą korelację z ludźmi niż metryki leksykalne w zadaniach NLG.

G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment (artykuł)

2023

MT-Bench i Chatbot Arena — formalizacja i analiza biasów

Punkt przełomowy

Zheng i in. wprowadzają MT-Bench i Chatbot Arena, wykazując ponad 80% zgodności GPT-4 z ludźmi oraz systematyzując bias pozycyjny, wielosłowności i autopromocji.

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (artykuł)

2024

Prometheus — otwarty, drobnoziarnisty ewaluator

Prometheus (ICLR 2024) to otwarty model 13B trenowany na Feedback Collection, oceniający według własnych rubryk i dorównujący korelacji GPT-4, co uniezależnia ewaluację od modeli zamkniętych.

Prometheus: Inducing Fine-grained Evaluation Capability in Language Models (artykuł)

2024

Powszechne przyjęcie w benchmarkach i RLAIF

LLM-as-a-Judge staje się standardem w AlpacaEval, Arena-Hard, ewaluacji RAG (RAGAS) oraz jako źródło danych preferencyjnych w RLAIF i DPO.

Hiperparametry (konfigurowalne osie)

Model-sędziaKrytyczna

Który LLM pełni rolę sędziego. Silniejszy model to wyższa zgodność z ludźmi, ale większy koszt; ważne, by nie był to model oceniany (bias autopromocji).

GPT-4Silny sędzia referencyjny w MT-Bench

Prometheus 13BOtwarty, dostrajany sędzia

Protokół ocenyWysoka

Pointwise (skala liczbowa), pairwise (porównanie dwóch odpowiedzi) lub reference-guided. Wpływa na stabilność i podatność na bias pozycyjny.

pairwiseBardziej stabilne niż oceny bezwzględne

pointwise 1-5Mała skala całkowita poprawia korelację

Skala ocenyŚrednia

Zakres skali punktowej. Małe skale całkowite (1–4 lub 1–5) dają wyższą korelację z ludźmi niż ciągłe 0–10.

1-5Rekomendowana mała skala

Rozumowanie przed oceną (CoT)Wysoka

Czy model generuje uzasadnienie przed werdyktem. Wyraźnie poprawia korelację (paradygmat G-Eval).

Odpowiedź referencyjnaŚrednia

Dołączenie odpowiedzi wzorcowej. Poprawia ocenę zadań wymagających precyzji (matematyka, fakty).

Zamiana pozycji (mitygacja biasu)Wysoka

W trybie parami: ocena obu kolejności (A,B) i (B,A) oraz uśrednienie, aby zneutralizować bias pozycyjny.

TemperaturaŚrednia

Zwykle ustawiana na 0 dla powtarzalności i determinizmu ocen.

0Deterministyczna ocena

Złożoność obliczeniowa

Złożoność czasowa: O(N · L² · d). Złożoność przestrzenna: O(L · d).

Wąskie gardło obliczeniowe

Koszt inferencji modelu-sędziego

Każda ocena wymaga wywołania dużego modelu; przy silnych sędziach (GPT-4) koszt i opóźnienie na jedno porównanie są wysokie, a w trybie parami skalują się kwadratowo.

Zależy od

Rozmiar modelu-sędziegoDługość promptu i liczba porównań

Paradygmat wykonania

Tryb główny

Gęsty

Wzorzec na poziomie inferencji/ewaluacji korzystający z pełnego, gęstego przebiegu modelu-sędziego; sam nie wprowadza routingu (choć wariant „panelu sędziów” może kierować przypadki do różnych modeli).

Wzorzec aktywacji

Wszystkie ścieżki aktywne

Mechanizm routingu

Równoległość

Poziom równoległości

Częściowo równoległy

Poszczególne oceny są niezależne (embarrassingly parallel) i można je rozproszyć wsadowo na wielu urządzeniach; sekwencyjna pozostaje tylko generacja w obrębie jednej oceny.

Zakres

InferencjaPomiędzy urządzeniami

Ograniczenia

!Generacja uzasadnienia i werdyktu jest sekwencyjna w obrębie jednej oceny.