Ocena jakości

ERQA

2025AktywnyOpublikowano: 16 października 2026Aktualizacja: 16 października 2026Opublikowany

Otwarty benchmark Google DeepMind (400 pytań wielokrotnego wyboru z obrazami) mierzący ucieleśnione rozumowanie przestrzenne i fizyczne modeli multimodalnych.

Kluczowa innowacja

Pierwszy otwarty benchmark izolujący ucieleśnione rozumowanie przestrzenno-fizyczne modeli multimodalnych od sterowania robotem — czysta ewaluacja VQA zamiast testów na sprzęcie.

Kategoria

Ocena jakości

Poziom abstrakcji

System

Poziom operacji

ModelInferencja

Zastosowania

Ewaluacja ucieleśnionego rozumowania modeli multimodalnychPomiar rozumowania przestrzennego i fizycznego w 3DBenchmarking modeli pod kątem zastosowań robotycznychPorównywanie modeli frontier (np. Gemini, GPT)

Jak działa

ERQA składa się z 400 pytań wielokrotnego wyboru łączących przeplatane obrazy i tekst. Każde pytanie ma jedną poprawną odpowiedź oznaczoną literą (A, B, C, D). Model otrzymuje obraz(y) oraz pytanie i wybiera odpowiedź; wynikiem jest odsetek poprawnych odpowiedzi. Pytania obejmują rozumowanie przestrzenne i wiedzę o świecie w realistycznych scenariuszach, zwłaszcza w kontekście robotyki. Dane dostępne są jako rekordy TFRecord (pola: question, image/encoded, answer, question_type, visual_indices) wraz z lekkim harnessem ewaluacyjnym dla multimodalnych API.

Rozwiązany problem

Ogólne benchmarki multimodalne słabo mierzą zdolność modeli do rozumowania o fizycznym, przestrzennym świecie potrzebną w robotyce. ERQA wyodrębnia i ocenia to ucieleśnione rozumowanie niezależnie od sterowania fizycznym robotem.