RobotAgentBench: roboty domowe bez agenta nie radzą sobie wcale

Aether AI wspólnie z University of California San Diego i University of California Davis opublikowały 26 października 2026 r. RobotAgentBench — benchmark sprawdzający, czy robot domowy potrafi sam ustalić, co ma zrobić, a potem to wykonać. Wynik jest jednoznaczny: najlepszy samodzielny model sterujący robotem uzyskał średnio 18,0 punktu na 100, a w scenariuszach otwartych praktycznie nie ruszył z miejsca.

Najważniejsze w skrócie

• 50 układów mieszkania, 90 zadań atomowych, 18 krótkich, 8 długich i 4 scenariusze otwarte
• Najlepszy samodzielny model (InternVLA-A1.5) — 18,0 pkt średniej, najlepsza architektura agentowa — 48,5 pkt
• W scenariuszach otwartych samodzielne modele uzyskały od 0,3 do 2,0 pkt, najlepszy agent 15,4 pkt
• Wykrywanie zadań bez polecenia: samodzielne modele poniżej 2 pkt, agenty kodujące do 37,2 pkt
• 101,8 godziny danych treningowych zebranych na humanoidzie AgiBot G1

Wyobraźmy sobie taką sytuację

Robot stoi w salonie i zamiast listy zadań dostaje jedno zdanie:

Za godzinę przychodzą goście.

Nikt nie powiedział mu, że na sofie leży porzucona czapka ani że stół jest zastawiony. Robot musi najpierw obejść mieszkanie, ustalić kolejność — jedzenie trzeba wyjąć z lodówki, zanim trafi do mikrofalówki — i dopiero potem cokolwiek chwycić. To uproszczenie redakcyjne, choć przyjęcie gości jest jednym z czterech scenariuszy benchmarku.

Ale pojawia się problem: dzisiejsze modele sterujące robotami uczy się wykonywania poleceń, a nie rozpoznawania sytuacji.

Dokładnie tę lukę ma mierzyć RobotAgentBench.

Co dokładnie mierzy ten benchmark?

Dotychczasowe testy robotów sprawdzały pojedyncze umiejętności — głównie to, czy robot wykona wskazaną czynność. RobotAgentBench rozbija autonomię na pięć wymiarów ocenianych osobno: wykrywanie zadań, wnioskowanie z kontekstu, manipulację, wychodzenie z błędu i odporność na zakłócenia.

Każdy wymiar ma własną metrykę. Wykrywanie zadań mierzy się odsetkiem właściwych obiektów, których robot dotknął, eksplorując mieszkanie bez polecenia. Wnioskowanie z kontekstu sprawdza się na czterech ustawieniach — wybór napoju, przekąski, odpadu i przedmiotu z sofy — gdzie robot dostaje preferencje użytkownika albo regułę klasyfikacji, nie nazwę obiektu. Odporność testują zakłócenia w trakcie pracy: w jednym z sześciu wariantów ekspres zostaje przesunięty, gdy robot sypie do niego ziarna.

Osobną warstwą są cztery scenariusze otwarte: przygotowanie kolacji, przyjęcie gości, wyjście z domu i sprzątanie pokoju. Tu nie ma już listy zadań — robot sam musi ustalić, co jest do zrobienia i w jakiej kolejności.

Skąd wzięło się 50 mieszkań?

Punktem wyjścia był jeden fizyczny pokój w prawdziwym domu, odtworzony w symulatorze NVIDIA Isaac Sim. Agent kodujący dobierał modele 3D i dopasowywał je do zdjęć oraz pomiarów, a ludzie weryfikowali wierność każdego kroku. Z tej rekonstrukcji powstało 50 układów — rzuty zmieniano na kształt liter T i L, przestawiano meble, modyfikowano tekstury i style wnętrza.

Dane zebrano przez teleoperację humanoida AgiBot G1, platformy chińskiego AGIBOT, potem odtworzono je w symulacji, dostrajając parametry fizyczne do rzeczywistości, a na końcu agent kodujący rozmnożył trajektorie^?trajektorie: zapisane sekwencje ruchów robota wykonującego jedno zadanie od początku do końca na inne pozycje obiektów. Łącznie 101,8 godziny: po 50 trajektorii na zadanie atomowe^?zadanie atomowe: pojedynczą, niepodzielną czynność robota, na przykład chwycenie jednego przedmiotu i krótkie, po 10 na długie i na scenariusz otwarty.

Jak wygląda pętla agenta robotycznego?

Praca wprowadza wspólny szkielet planowanie–wykonanie–weryfikacja, opisywany skrótem P/E/V. Litera C oznacza sterowanie kodem, L wyuczony model VLA lub WAM, H układ mieszany, a myślnik brak komponentu. Pięć kombinacji przetestowano w identycznych warunkach.

Co znaczą te nazwy?

W pracy wracają cztery skróty, bez których wyniki są nieczytelne.

• VLA — z obrazu z kamer i polecenia tekstowego generuje bezpośrednio ruchy robota. Odpowiednik sterownika uczonego wyłącznie na nagraniach poprawnych wykonań.
• WAM — model świata połączony z działaniem. Zamiast mapować obraz prosto na ruch, przewiduje, jak scena zmieni się po ruchu, i na tej podstawie planuje.
• Agent kodujący — asystent programistyczny w roli mózgu robota. Pisze i składa programy z gotowych funkcji sterujących, na przykład move_eef_to().
• RSI — rekurencyjne samodoskonalenie. Agent po każdej próbie poprawia własne funkcje sterujące i zachowuje te, które zadziałały.

Te cztery elementy nie są konkurencją dla siebie — benchmark pokazuje, że najlepiej działają połączone.

Co pokazały wyniki?

Przepaść między manipulacją a autonomią widać w jednej liczbie: najlepszy samodzielny model, InternVLA-A1.5, osiągnął 18,0 pkt średniej, a architektura mieszana C/H/C — ten sam model wywoływany przez agenta kodującego — 48,5 pkt. Oceniono osiem modeli VLA, między innymi π0.5 od Physical Intelligence, Xiaomi Robotics-1 i X-VLA, oraz trzy modele WAM.

Najmocniej rozjeżdża się wykrywanie zadań: samodzielne modele zostały poniżej 2 punktów, a najlepszy agent kodujący uzyskał 37,2. Bez wyraźnego polecenia modele VLA wykonują chaotyczne ruchy zamiast rozejrzeć się po pokoju.

Wśród architektur w pełni opartych na kodzie najwyżej wypadł Antigravity CLI napędzany przez Gemini 4 Argon — 39,7 pkt, przed Claude Code na Opus 5.5 z 33,3 pkt i Codexem na GPT-6 Astra z 31,0 pkt. Analiza stylu poleceń wskazuje, dlaczego: Antigravity CLI pisze krótsze instrukcje i pomija szczegóły wykonawcze, a tak sformułowane komendy łatwiej trafiają w to, czego model wykonawczy uczył się na danych treningowych.

Dziesięć rund samodoskonalenia podniosło wynik Codexa z 31,0 do 42,3 pkt. W pierwszych próbach agenty próbowały osiągnąć docelową pozę jednym ruchem łamiącym limity przegubów, a w kolejnych iteracjach rozkładały ten ruch na pośrednie, wykonalne pozycje.

Scenariusze otwarte pozostają jednak nierozwiązane dla wszystkich. Najlepszy wynik to 15,4 pkt na 100.

Dlaczego nie wystarczy mocniejszy model VLA?

Nasuwa się oczywiste pytanie: skoro modele VLA stale rosną, czy problem nie rozwiąże się sam przy kolejnej generacji?

Dane z benchmarku sugerują, że nie — bo wąskie gardło leży gdzie indziej. Modele VLA trenuje się na demonstracjach poprawnych wykonań, więc uczą się odtwarzać ruch, a nie decydować, co w ogóle warto zrobić. Przy wnioskowaniu z kontekstu, czyli wyborze napoju zgodnego z preferencjami użytkownika, ich trafność była bliska losowej.

Jest też drugi problem, którego nie usuwa większa skala: utknięcie. Metryka stagnacji, mierząca odsetek czasu spędzonego na powtarzalnych, bezproduktywnych próbach, wyniosła 88,3% dla InternVLA-A1.5 i 84,6% dla OpenWAM-Alpha. Najlepszy układ agentowy zbił ją do 12,1%, bo weryfikator w ogóle zauważa, że coś nie działa.

Co ciekawe, same agenty kodujące też nie wystarczają. Układ, w którym agent planuje, wykonuje i weryfikuje wyłącznie kodem, przegrywa z układem mieszanym — sterowanie kodem dowozi ramię w okolice obiektu, ale domknięcie chwytu lepiej wychodzi wyuczonemu modelowi.

Czy to już działa?

To benchmark badawczy, nie produkt. Praca trafiła na arXiv 26 października 2026 r., kod opublikowano w repozytorium GitHub, a dostrojony model InternVLA-A1.5-RAB na Hugging Face. Licencja materiału to CC BY 4.0^?CC BY 4.0: licencja Creative Commons pozwalająca na dowolne wykorzystanie materiału pod warunkiem podania autorstwa.

Żaden z testowanych systemów nie jest gotowy do pracy w prawdziwym mieszkaniu. Porównanie symulacji z rzeczywistością na dopasowanym podzbiorze zadań pokazało spadek u wszystkich trzech testowanych systemów.

Dlaczego to ważne?

Branża mierzy dziś postęp robotyki głównie jakością chwytu. Ten benchmark rozdziela dwie rzeczy, które dotąd mieszano: sprawność ruchu i zdolność do samodzielnego ustalenia celu. Rozdzielenie pokazuje, że druga z nich nie rośnie razem z pierwszą, a najszybsza poprawa nie bierze się z większego modelu, tylko ze złożenia go z warstwą planującą i weryfikującą.

Co dalej?

• Kod benchmarku i dostrojony model są już publiczne na GitHubie i Hugging Face, więc kolejne architektury agentowe można porównywać w tych samych 50 układach
• Wynik 15,4 pkt na 100 w scenariuszach otwartych wyznacza punkt odniesienia dla następnych prac — to obecny stan techniki, nie wynik nasycony
• Luka symulacja–rzeczywistość pozostaje otwarta: wszystkie trzy systemy sprawdzone na fizycznym AgiBot G1 wypadły słabiej niż w symulacji

Źródła

• arXiv — RobotAgentBench: Towards Open-world Robot Autonomy
• Aether Labs AI — RobotAgentBench — strona projektu
• GitHub — AetherLabsAI/RobotAgentBench
• Hugging Face — InternVLA-A1.5-RAB