Badacze z Princeton, University of Texas at Austin i University of Toronto oraz z firm NVIDIA i AGIBOT przedstawili WorldOracle — benchmark, który ocenia modele świata warunkowane akcją, porównując ich przewidywania z realnym wykonaniem tej samej sekwencji ruchów. Pierwsze wyniki siedmiu modeli pokazują wspólną słabość: ruch ramienia jest odwzorowany dobrze, pozycja manipulowanego przedmiotu — znacznie gorzej.
Najważniejsze w skrócie
- Benchmark porównuje przewidziany rollout z nagraniem realnego wykonania przy tej samej klatce startowej i tej samej sekwencji akcji
- IRASim: 78,8 punktu za ruch ramienia wobec 29,1 za manipulowany obiekt. Cosmos 3: 89,4 wobec 45,4
- Na pełnej sekwencji DreamDojo spada z 50,56 do 27,08, a Cosmos 3 z 53,99 do 26,60
- GE-Sim 2.0 ma najwyższy wynik na obu horyzontach i najmniejszy spadek: 73,86 do 63,33
- Platforma otwarta dla deweloperów od 16 października, przyjmuje modele open-weight i zamknięte
Wyobraźmy sobie taką sytuację
Robot ma podnieść owoc z blatu. Dostaje sekwencję akcji, wykonuje ją i chybia — chwytak zamyka się obok owocu, który zostaje na miejscu.
Model świata dostał dokładnie tę samą klatkę początkową i dokładnie tę samą sekwencję akcji. Wygenerował nagranie, na którym robot podnosi owoc i odkłada go do pojemnika. Wideo wygląda wiarygodnie. Opisany w nim sukces nigdy się nie zdarzył.
Ale pojawia się problem: taki model, użyty do planowania, podpowie robotowi ruch, który w rzeczywistości nie zadziała.
Dokładnie ten przypadek jest pokazany jako przykład w materiałach WorldOracle i dokładnie taki błąd benchmark ma wyłapywać.
Co dokładnie mierzy WorldOracle?
Zespół zebrał wcześniej realne epizody manipulacji, zapisując jednocześnie wideo i wykonane akcje. Deweloper dostaje klatki początkowe i sekwencje akcji ze zbioru ewaluacyjnego, generuje przewidziane wideo i wysyła je na platformę, która punktuje zgłoszenie wobec nagrania z rzeczywistego wykonania.
Kluczowa jest tu asymetria względem zwykłych benchmarków generowania wideo. Oceniane jest nie to, czy nagranie jest ładne, lecz czy przewidziany skutek akcji odpowiada temu, co faktycznie się stało.
Ocena składa się z czterech metryk. Physical State Correctness sprawdza, czy pozycje obiektów, stan chwytu i przelanie cieczy na końcu interakcji zgadzają się z rzeczywistym wynikiem. Interaction Spatial Alignment ocenia zgodność pozycji i torów ruchu obiektów, ramion i dłoni. Key Interaction Area Fidelity skupia się na okolicach przedmiotu i chwytaka, żeby duże tło nie zawyżało wyniku. Multi-View Action Coherence sprawdza, czy ruch jest spójny między synchronizowanymi kamerami.
Pierwsze trzy metryki są uśredniane z równymi wagami i dają wynik WorldOracle-SV dla jednego widoku. Przy ocenie wielowidokowej dochodzi czwarta, również z równą wagą. Podwyniki zostają zachowane, więc deweloper widzi osobno błąd stanu, trajektorii i lokalnego detalu.
To uproszczony przebieg oceny — pełna specyfikacja metryk i torów oceny znajduje się w pracy opublikowanej przez zespół.
Gdzie modele zawodzą?
Pierwszy wzorzec dotyczy rozdziału między ramieniem a przedmiotem. Wszystkie pięć modeli ocenianych na danych z teleoperacji AGIBOT G2 dostało wyższą notę za ramię niż za obiekt. IRASim uzyskał 78,8 za ruch ramienia i tylko 29,1 za manipulowany przedmiot; Cosmos 3 odpowiednio 89,4 i 45,4. Pozostałe modele miały rozbieżności różnej wielkości, ale o tym samym kierunku.
Praktyczne znaczenie jest proste: model potrafi odtworzyć, jak ramię dojeżdża do owocu i zamyka chwytak, a mimo to błędnie przewiduje, czy owoc został podniesiony i gdzie się potem znalazł.
Drugi wzorzec dotyczy czasu. WorldOracle punktuje osobno pierwsze 30 sekund trajektorii i całą długą sekwencję. Na tych samych danych z AGIBOT G2 wyniki WorldOracle-SV spadły u wszystkich pięciu modeli — DreamDojo z 50,56 do 27,08, Cosmos 3 z 53,99 do 26,60, czyli w obu przypadkach niemal o połowę.
GE-Sim 2.0 wypadł najlepiej na obu horyzontach i zaliczył najmniejszy spadek, z 73,86 do 63,33. Zmieniła się też kolejność: IRASim był słabszy od Ctrl-World, DreamDojo i Cosmos 3 na pierwszych 30 sekundach, a lepszy od wszystkich trzech na pełnej sekwencji.
Dlaczego nie wystarczy ocenić modelu po tym, jak wygląda wideo?
Dotychczasowe benchmarki generatywne mierzą przede wszystkim jakość percepcyjną obrazu i jego zgodność z opisem. Model, który tworzy ostre, spójne wideo robota wykonującego zadanie, zbiera na nich wysokie noty.
W zastosowaniu robotycznym to kryterium przestaje mieć sens. Model świata służy do przewidywania skutków akcji przed ich wykonaniem, więc jego wartość zależy od zgodności z fizyką konkretnego epizodu, a nie od estetyki.
Jest też drugi problem, trudniejszy. Modele generatywne trenowane głównie na udanych demonstracjach mają skłonność do pokazywania wersji zadania, która się udała. WorldOracle celowo włącza nieudane wykonania — chybione chwyty, upuszczenia, rozlania — i przyznaje wysoką notę za trafne przewidzenie porażki. Bez tego nie da się odróżnić modelu, który rozumie skutki akcji, od modelu, który domyśla się sukcesu.
Co znaczą te nazwy?
Cztery pojęcia potrzebne do czytania wyników:
- ACWM (action-conditioned world model) — model świata, który dostaje nie tylko obraz startowy, ale też konkretną sekwencję akcji, i ma przewidzieć, co z niej wyniknie. Zobacz też World Models i Action-Conditioned Video Generation.
- Rollout — wygenerowany przez model przebieg zdarzeń od klatki startowej. Odpowiednik przewidywanej symulacji, tylko wyprodukowanej przez sieć, nie przez silnik fizyki.
- WorldOracle-SV — wynik jednowidokowy, średnia trzech metryk o równych wagach. SV oznacza single view.
- Horyzont — długość ocenianego przebiegu. Benchmark rozdziela pierwsze 30 sekund od pełnej, wieloetapowej sekwencji zadania.
Rozdzielenie ramienia od obiektu i krótkiego horyzontu od długiego to właśnie te dwa cięcia, które ujawniły opisane wyżej luki.
Czy to już działa?
Tak, jako otwarta platforma ewaluacyjna. WorldOracle został udostępniony deweloperom 16 października 2026 roku i przyjmuje zarówno modele open-weight, jak i zamknięte. Zespół opublikował stronę projektu oraz pracę na arXiv.
Benchmark obejmuje dwa wcielenia robotyczne — AGIBOT G2 i YAM — oraz manipulację ludzką dłonią z perspektywy pierwszej osoby. Cztery zadania odpowiadają czterem klasom obiektów: podnoszenie owocu (ciało sztywne), wieszanie ręcznika (obiekt odkształcalny), przelewanie wody (ciecz) i wyciąganie szuflady (obiekt z przegubem). Pokrycie zadań różni się między wcieleniami i jest zdefiniowane w zbiorze ewaluacyjnym.
Dane pochodzą z dwóch źródeł: zbierania z udziałem człowieka (teleoperacja robota i nagrania ludzkich dłoni) oraz rolloutów polityk, w których realnym robotem steruje autonomiczny model. Platforma oferuje trzy tory — WorldOracle-Core na pierwszych 30 sekundach danych operowanych przez człowieka, WorldOracle-Policy na pełnych epizodach autonomicznych rolloutów na AGIBOT G2 i WorldOracle-Long na pełnych długich sekwencjach operowanych przez człowieka.
Dlaczego to ważne?
Modele świata są dziś oferowane jako tańszy zamiennik testów na fizycznym robocie. Jeśli ich błąd rośnie dokładnie tam, gdzie zaczyna się kontakt z przedmiotem i na horyzoncie dłuższym niż pół minuty, to zastępują właśnie tę część testowania, która jest najtrudniejsza. Benchmark z nieudanymi wykonaniami w zbiorze wymusza rozmowę o tym limicie, zamiast przykrywać go jakością obrazu.
Co dalej?
- Platforma przyjmuje zgłoszenia od 16 października 2026 roku — kolejne pozycje w rankingu zależą od tego, ile zespołów prześle rollouty na trzech torach
- Tor WorldOracle-Policy, oparty na autonomicznych rolloutach na AGIBOT G2, sprawdza modele na akcjach z pauzami i korektami, których nie ma w danych teleoperowanych
- Praca i strona projektu są publiczne, więc rozdzielenie not za ramię i za obiekt można odtworzyć niezależnie
Źródła
- The Robot Report — WorldOracle Tests Whether World Models Can Reliably Predict Real-World Executions
- WorldOracle — strona projektu
- arXiv — praca opisująca benchmark WorldOracle
