Ocena jakości

Vals Index

AktywnyOpublikowano: 16 października 2026Aktualizacja: 16 października 2026Opublikowany

Zagregowany, ważony ekonomicznie (GDP-weighted) wskaźnik rankingowy niezależnego ewaluatora Vals AI, łączący wyniki modelu AI z wielu benchmarków zadań eksperckich (finanse, prawo, programowanie).

Kluczowa innowacja

Zamiast wyniku pojedynczego testu daje jeden, ważony wartością ekonomiczną (GDP-weighted) wskaźnik wydajności modelu AI na realnej pracy eksperckiej, agregujący rezultaty z wielu niezależnych benchmarków Vals AI w jedną porównywalną liczbę i pozycję rankingową.

Kategoria

Ocena jakości

Poziom abstrakcji

Benchmark

Poziom operacji

Ewaluacja (runtime)ModelAplikacja

Zastosowania

Porównywanie modeli AI na realnych zadaniach eksperckichRanking modeli wg wydajności ważonej ekonomicznieNiezależna weryfikacja postępu modeli frontierOcena stosunku jakości do kosztu (cost per test)Wybór modelu do wdrożeń w finansach, prawie i programowaniu

Jak działa

Vals AI uruchamia dany model na własnym pakiecie benchmarków reprezentujących realne zadania zawodowe (m.in. finanse, prawo, programowanie, podatki, zdrowie) pod jednolitym harnessem i identycznymi ustawieniami, aby wyniki były porównywalne między modelami. Dla benchmarków proprietarnych pomiar odbywa się na prywatnych zbiorach testowych; część benchmarków ma też publiczny i prywatny zbiór walidacyjny. Wyniki poszczególnych benchmarków grupowane są w „buckety" zdolności i agregowane do jednego wyniku procentowego ważonego wartością ekonomiczną zadań (GDP-weighted), tworząc Vals Index wraz z pozycją rankingową. Obok dokładności raportowane są metryki pomocnicze: koszt na test, latencja, zużycie tokenów oraz wskaźniki odmów i awarii. Infrastrukturę do uruchamiania ewaluacji agentowych stanowi rozproszony system Valkyrie.

Rozwiązany problem

Pojedyncze benchmarki szybko się „wysycają", są podatne na wyciek zbiorów testowych do danych treningowych, a wiele z nich tworzą lub uruchamiają sami twórcy modeli, raportując wyselekcjonowane przykłady. Vals Index dostarcza jednej, niezależnej i porównywalnej miary wydajności modeli na realnej pracy eksperckiej zamiast polegać na pojedynczym, łatwym do zmanipulowania teście.

Komponenty

Benchmarki składoweŹródło sygnału ewaluacyjnego

Pakiet benchmarków zadań eksperckich (m.in. Finance Agent, Legal Research Bench, CyberBench, Public Benefits Bench, Vibe Code Bench, SWE-bench Verified, Terminal-Bench), których wyniki wchodzą do indeksu.

Oficjalna

Agregacja ważona ekonomicznie (GDP-weighted)Łączy wyniki benchmarków w jeden wskaźnik

Mechanizm agregujący wyniki z „bucketów" zdolności w jedną liczbę procentową, ważąc zadania wartością ekonomiczną (finanse, programowanie, prawo).

Prywatne zbiory testoweOchrona integralności wyników

Proprietarne benchmarki oceniane są na nieujawnianych zbiorach testowych, co zapobiega wyciekowi danych testowych do korpusów treningowych modeli.

Warianty indeksuSpecjalizowane rankingi obok indeksu głównego

Vals AI publikuje też pochodne indeksy dla węższych przekrojów modeli i zdolności.

Vals Multimodal IndexIndeks dla zdolności multimodalnych.

Open-Weight Vals IndexIndeks ograniczony do modeli o otwartych wagach.

Vals RSI IndexPochodny indeks RSI publikowany przez Vals AI.

Oficjalna