Ocena jakości

PIQA

2020AktywnyOpublikowano: 29 września 2026Aktualizacja: 29 września 2026Opublikowany

Physical Interaction QA — zbiór pytań wielokrotnego wyboru (2 opcje) testujący wiedzę o fizycznym świecie i afordancjach obiektów.

Kluczowa innowacja

Benchmark rozumowania o fizycznym zdrowym rozsądku: model wybiera bardziej sensowny sposób osiągnięcia codziennego celu fizycznego spośród dwóch opcji.

Kategoria

Ocena jakości

Poziom abstrakcji

Primitive

Poziom operacji

Ewaluacja (runtime)

Zastosowania

Ocena fizycznego zdrowego rozsądku LLMStandardowy benchmark w pakietach ewaluacyjnychBadanie afordancji i wiedzy o świeciePorównania modeli open-weights

Jak działa

Model dostaje cel i dwie kandydujące procedury; ocenia się, którą uzna za bardziej prawdopodobną/poprawną (np. przez porównanie prawdopodobieństw lub odpowiedź). Metryką jest dokładność (accuracy) na zbiorze walidacyjnym/testowym; poziom ludzki jest bliski 95%.