Ocena jakości
AA-Omniscience
Benchmark Artificial Analysis mierzący faktyczną wiedzę modeli AI w wielu dziedzinach oraz skłonność do halucynacji (udzielania pewnych, lecz błędnych odpowiedzi).
Kategoria
Ocena jakości
Poziom abstrakcji
Benchmark
Poziom operacji
Ewaluacja (runtime)
Zastosowania
Ocena wiedzy i halucynacji modeli LLMPorównywanie wiarygodności modeliDobór modelu do zastosowań wymagających faktograficznej rzetelności
Jak działa
Benchmark zadaje modelom pytania faktograficzne z wielu dziedzin i ocenia zarówno poprawność, jak i to, czy model powstrzymuje się od odpowiedzi, gdy nie zna rozwiązania. Nagradza kalibrację (przyznanie się do niewiedzy), a karze pewne halucynacje.
Rozwiązany problem
Jak mierzyć nie tylko wiedzę modelu, ale też jego skłonność do pewnych, lecz fałszywych odpowiedzi (halucynacji)?
Mocne strony i ograniczenia
Mocne strony
✓Łączy pomiar wiedzy z pomiarem halucynacji
✓Premiuje kalibrację i uczciwą niepewność
✓Szeroki zakres dziedzin
Ograniczenia
✗Wyniki zależą od doboru pytań
✗Ryzyko wycieku zbioru testowego do danych treningowych
✗Trudność w pełnym pokryciu wszystkich dziedzin