Hallucination
Jak działa
Halucynacja powstaje na skrzyżowaniu danych, treningu i inferencji. (1) Dane treningowe zawierają błędy, sprzeczności i luki, a model uczy się rozkładu prawdopodobieństwa tekstu, nie bazy faktów. (2) Cel treningowy (przewidywanie kolejnego tokenu) optymalizuje płynność, a nie weryfikowalność; dostrajanie i RLHF potrafią dodatkowo premiować odpowiedzi pewne i pomocne kosztem ostrożności. (3) Na etapie inferencji losowe próbkowanie (temperatura, top-k, top-p) zwiększa różnorodność, ale i ryzyko wygenerowania nieprawdziwych szczegółów; model nie ma wbudowanego mechanizmu sprawdzania faktów ani sygnału niepewności skalibrowanego do prawdy. W efekcie model 'zapełnia luki' statystycznie prawdopodobnym, lecz zmyślonym tekstem (konfabulacja). Ograniczanie zjawiska polega m.in. na ugruntowaniu w źródłach (RAG), dekodowaniu z ograniczeniami, łańcuchu myśli i samospójności, weryfikatorach oraz zmianie sposobu punktowania ewaluacji, by nie nagradzać zgadywania.
Rozwiązany problem
Nazywa i porządkuje kluczowe ograniczenie wiarygodności modeli generatywnych: fakt, że płynność i pewność wypowiedzi nie gwarantują jej prawdziwości. Dostarcza pojęć (faithfulness vs factuality, intrinsic vs extrinsic) potrzebnych do pomiaru, diagnozy i ograniczania błędów generacji w zastosowaniach o wysokiej stawce.
Komponenty
Wygenerowana treść jest wprost sprzeczna z dostarczonym kontekstem lub materiałem źródłowym.
Wygenerowana treść nie da się zweryfikować względem źródła — nie jest ani potwierdzona, ani zaprzeczona przez kontekst.
Wymiar oceny: czy wypowiedź jest zgodna z dostarczonym materiałem źródłowym (niezależnie od prawdy w świecie).
Wymiar oceny: czy wypowiedź jest zgodna z faktami świata (niezależnie od źródła).
Alternatywny termin podkreślający, że model pewnie wypełnia luki zmyślonymi, lecz prawdopodobnie brzmiącymi szczegółami, bez intencji wprowadzenia w błąd.
Oficjalna
Implementacja
Gładki, pewny ton sprawia, że użytkownicy ufają zmyślonym treściom.
Nawet z retrieverem model może ignorować lub źle interpretować dokumenty (halucynacja wewnętrzna).
Modele generują wiarygodnie wyglądające, lecz nieistniejące źródła, DOI czy sprawy sądowe.
Punktacja premiująca pewne odpowiedzi utrwala halucynacje kosztem przyznania niepewności.
Modele słabo rozpoznają własne halucynacje bez wiedzy zewnętrznej lub dodatkowych kroków rozumowania.
Ewolucja
Wczesne użycia terminu dla treści niepopartych wejściem w NMT i captioningu.
Prace o wierności streszczeń względem dokumentu źródłowego formalizują wymiar faithfulness.
Benchmark pokazuje, że większe modele potrafią imitować ludzkie mity (inverse scaling).
Przegląd definiuje taksonomię (intrinsic/extrinsic, faithfulness/factuality) i porządkuje pole.
Upowszechnienie chatbotów LLM czyni halucynację centralnym problemem wiarygodności; powstają dedykowane benchmarki.
Praca argumentuje, że benchmarki nagradzają pewne zgadywanie, co utrwala halucynacje.
Hiperparametry (konfigurowalne osie)
Wyższa temperatura i bardziej losowe próbkowanie zwiększają różnorodność, ale i skłonność do zmyślania szczegółów.
Dostarczenie modelowi zweryfikowanych dokumentów źródłowych obniża halucynację, ale jej nie eliminuje.
Sposób dostrojenia wpływa na kalibrację i skłonność do pewnego zgadywania zamiast przyznania niepewności.
Większe modele zwykle mają mniej błędów faktograficznych, ale skala nie usuwa halucynacji i bywa myląca (np. imitowanie ludzkich mitów).
Jasne instrukcje, prośba o cytowania i o przyznanie się do niewiedzy ograniczają halucynacje.