Robocikowo>ROBOCIKOWO
Ocena jakości

Intelligence Index

AktywnyOpublikowano: 4 września 2026Aktualizacja: 4 września 2026Opublikowany
Złożony wskaźnik firmy Artificial Analysis agregujący wiele benchmarków (m.in. HLE, GPQA Diamond, SciCode) w jedną liczbę oceniającą inteligencję modeli AI.
Kluczowa innowacja
Sprowadza wyniki wielu niezależnych ewaluacji AI do jednej porównywalnej liczby opisującej ogólną „inteligencję" modelu, utrzymywanej przez niezależną firmę trzecią.
Kategoria
Ocena jakości
Poziom abstrakcji
Wzorzec
Poziom operacji
Ewaluacja (runtime)ModelSystem
Zastosowania
Wybór modelu AI pod konkretne zastosowaniePorównywanie wiodących modeli między dostawcamiŚledzenie postępu modeli frontier w czasieOcena dostawców i decyzje zakupowe / procurementKontekst do komunikacji wyników modeli

Jak działa

Artificial Analysis uruchamia zestaw wybranych ewaluacji na każdym modelu w ustandaryzowany sposób, stosując punktację pass@1 (odsetek poprawnych prób). Wyniki poszczególnych testów są ważone wewnątrz czterech kategorii (Agents 34%, Coding 24%, Scientific Reasoning 24%, General 18%), a końcowy indeks to ważona średnia po kategoriach. Poszczególne testy mają własne wagi w indeksie (np. GDPval-AA v2 = 20%, Terminal-Bench v2.1 = 16%, τ³-Banking = 14%, HLE = 12%, AA-Omniscience = 12%, SciCode = 8%, AA-LCR = 6%, GPQA Diamond = 6%, CritPt = 6%). Ewaluacje są powtarzane wielokrotnie (>10 powtórzeń), co daje przedział ufności indeksu poniżej ±1%. Wersja v4.1.1 zaktualizowała komponent GDPval-AA z v1 (używanej w v4.0) do v2 z punktacją Elo zakotwiczoną w wynikach ludzkich ekspertów na poziomie 1000.

Rozwiązany problem

Pojedyncze benchmarki mierzą wąskie zdolności i szybko ulegają nasyceniu, a każdy dostawca raportuje inny podzbiór testów w niespójnych warunkach, co utrudnia bezpośrednie porównanie modeli. Intelligence Index dostarcza jedną, znormalizowaną, niezależnie liczoną wartość zbierającą wiele wymiarów zdolności w spójnych warunkach.

Komponenty

GDPval-AA v2Kategoria: Agents (waga 20%)

Agentowa ewaluacja realizacji ekonomicznie wartościowych zadań pracy (220 zadań, 44 zawody w USA); punktacja Elo zakotwiczona w wynikach ludzkich ekspertów na poziomie 1000.

τ³-BankingKategoria: Agents (waga 14%)

Agent koordynujący wyszukiwanie wiedzy z nieustrukturyzowanych dokumentów fintech i wieloetapowe modyfikacje kont przez narzędzia (97 zadań).

Terminal-Bench v2.1Kategoria: Coding (waga 16%)

Wykonywanie zadań w terminalu: inżynieria oprogramowania, administracja systemem, przetwarzanie danych, trening modeli, bezpieczeństwo (89 zadań).

SciCodeKategoria: Coding (waga 8%)

Programowanie w Pythonie na wyzwaniach z obliczeń naukowych wymagających przejścia wszystkich testów jednostkowych (288 podproblemów).

AA-OmniscienceKategoria: General (waga 12%)

Test wiedzy faktograficznej z karą za halucynacje w wielu domenach (6000 pytań).

AA-LCRKategoria: General (waga 6%)

Rozumowanie na wielu długich dokumentach (~100k tokenów na pytanie), 100 pytań.

Humanity's Last ExamKategoria: Scientific Reasoning (waga 12%)

Wiedza akademicka na poziomie frontier: matematyka, humanistyka, nauki przyrodnicze (2158 pytań).

GPQA DiamondKategoria: Scientific Reasoning (waga 6%)

Ekspercka wiedza naukowa: biologia, fizyka, chemia (198 trudnych pytań wielokrotnego wyboru).

CritPtKategoria: Scientific Reasoning (waga 6%)

Rozumowanie z fizyki na poziomie badawczym, na niepublikowanych problemach z różnych poddziedzin (70 wyzwań).

Hiperparametry (konfigurowalne osie)

Wagi kategoriiKrytyczna

Podział wag końcowego indeksu na kategorie: Agents 34%, Coding 24%, Scientific Reasoning 24%, General 18%.

Wagi poszczególnych ewaluacjiWysoka

Udział każdego testu w indeksie (np. GDPval-AA v2 20%, Terminal-Bench v2.1 16%, τ³-Banking 14%).

Liczba powtórzeńŚrednia

Ewaluacje powtarzane >10 razy, aby przedział ufności indeksu był poniżej ±1%.

Wersja indeksuWysoka

Wersja metodologii (bieżąca v4.1.1; v4.0 używała GDPval-AA v1; wcześniejsze wersje: MMLU-Pro, MATH-500, AIME 2025, LiveCodeBench, τ²-Bench Telecom).