NVIDIA RoboLab: jak mierzyc, czy robot naprawde radzi sobie w swiecie

11 lipca 2026 roku NVIDIA Research opublikowało RoboLab - platformę do ewaluacji polityk robotycznych w symulacji, zaprojektowaną tak, by wynik testu mówił coś znaczącego o tym, czy robot naprawdę potrafi generalizować, a nie tylko zapamiętał warunki treningu.

Najważniejsze w skrócie

RoboLab adresuje trzy główne wady istniejących benchmarków: nakładanie się danych treningowych i testowych, saturację i brak diagnostyki
Benchmark RoboLab-120: 120 zadań manipulacyjnych tagowanych kompetencjami (wzrokowe, proceduralne, relacyjne)
Przy 70 rolloutachrollout: Pojedynczy przebieg testowy polityki robota — jedna próba wykonania zadania. przedział ufności 95% dla 90% skuteczności wynosi aż 15,4 pkt proc. - większość benchmarków nie spełnia wymogów statystycznych
Narzędzia diagnostyczne: oceny cząstkowe, metryka SPARC dla płynności ruchu, logi zdarzeń awarii
Integracja z NVIDIA Isaac Lab-Arena zaplanowana na sierpień 2026

Problem z obecnymi benchmarkami

Ewaluacja robotów w symulacji ma od lat ten sam problem: kiedy model trenujemy i testujemy na danych z tego samego wirtualnego środowiska, wysoki wynik świadczy tylko o tym, że model zapamiętał układ - nie o tym, że potrafi działać w nowych warunkach. Podejście Real2SimReal2Sim: Technika odwzorowująca rzeczywistą scenę w symulacji, by testować roboty wirtualnie. zbliża wizualnie symulację do rzeczywistości, ale przygotowanie jednej sceny zajmuje ponad godzinę - co czyni testy na dużą skalę niepraktycznymi.

Drugi problem to saturacja: kiedy stały zestaw zadań się nie zmienia, modele szybko osiągają powyżej 90% skuteczności. Wynik przestaje rozróżniać modele naprawdę lepsze od tych, które po prostu nauczyły się konkretnych testów. Trzeci problem to luka diagnostyczna: binarny wynik nie mówi, dlaczego robot zawiódł.

RoboLab: trzy zasady projektowe

NVIDIA Research zbudowało RoboLab wokół trzech założeń: ewaluacja niezależna od platformy robotycznej, szybkie generowanie nowych zadań zapobiegające saturacji oraz pełny zestaw narzędzi diagnostycznych. Platforma jest agnostyczna wobec embodimentembodiment: Fizyczna postać robota — ramię, humanoid, chwytak — na której uruchamiana jest polityka.. Nowe zadania generuje się przez wskazanie obiektów, dodanie instrukcji językowej i uruchomienie - całość zajmuje minuty.

Kompetencje, nie tylko wyniki

RoboLab-120 taguje każde zadanie według wymaganych kompetencji. Kompetencja wzrokowa sprawdza, czy robot rozróżnia kolor, rozmiar i kategorię semantyczną. Kompetencja proceduralna ocenia sekwencje akcji - układanie, obracanie, interakcje z narzędziem. Kompetencja relacyjna bada rozumienie logiki przestrzennej i językowej - spójniki, liczenie, pozycje względne. Dzięki tagowaniu można mierzyć, w których kompetencjach model ma słabe strony.

Kompetencja	Co sprawdza
Wzrokowa	Kolor, rozmiar, kategoria semantyczna
Proceduralna	Sekwencje akcji — układanie, obracanie, użycie narzędzia
Relacyjna	Logika przestrzenna i językowa — spójniki, liczenie, pozycje względne

Trzy kompetencje mierzone przez RoboLab-120

Statystyki, których benchmarkom brakuje

Metoda Cloppera-Pearsona pokazuje, że dla 90% skuteczności zmierzonej na 70 rolloutach przedział ufności 95% obejmuje od 80,5% do 95,9% - rozpiętość 15,4 pkt proc. Żeby związać błąd do +/-2 pkt proc., potrzeba 1030 rolloutów - 15 razy więcej. Większość opublikowanych prac nie spełnia tego progu.

Diagnostyka: gdzie i dlaczego robot zawodzi

Poza liczbą sukcesów RoboLab mierzy trzy dodatkowe aspekty. Oceny cząstkowe: robot, który chwycił właściwy obiekt, ale go upuścił, dostaje częściowy wynik. Jakość trajektorii: metryka SPARC mierzy płynność ruchu przez widmo Fouriera prędkości. Logi zdarzeń awarii: system automatycznie rejestruje momenty złapania niewłaściwego obiektu lub kolizji chwytaka.

Autorzy podają konkretny przykład: robot wykonujący polecenie o butelkach plastikowych zaliczył zadanie jako sukces - ale po drodze umieścił też pomarańczę w pojemniku. Binarny sukces/porażka tego nie widzi.

Złożoność języka, sceny i długości zadania

Wyniki pokazują, że niejasne instrukcje konsekwentnie powodują błędy - obecne modele są podatne na zmianę sformułowania. Żaden z testowanych modeli nie zaliczał poprawnie więcej niż czterech złożonych podzadań z rzędu. Analizę wrażliwości realizuje Neural Posterior Estimation: platforma uruchamia wiele wariantów naraz i statystycznie identyfikuje, która zmienna najbardziej wpływa na wynik.

Dlaczego to ważne?

Benchmarki dla robotów wciąż znacząco odstają od standardów reszty AI. W NLP i wizji komputerowej wiadomo dokładnie, ile testów potrzeba, by wynik był statystycznie wiarygodny. W robotyce dominuje praktyka kilkudziesięciu rolloutów i binarnego sukcesu. RoboLab formalizuje to, co było nieformalną wiedzą: sukces na małej próbie nic nie znaczy, brak diagnostyki prowadzi do ślepej optymalizacji, a stałe zestawy zadań nagradzają memoryzację zamiast generalizacji. Platforma trafia do Isaac Lab-Arena w sierpniu 2026.

Co dalej?

Integracja kluczowych funkcji RoboLab z NVIDIA Isaac Lab-Arena zaplanowana na sierpień 2026 zgodnie z oficjalnym blogiem NVIDIA
Kod open-source dostępny na GitHub (NVLabs/RoboLab) od dnia publikacji (11 lipca 2026)
Benchmark RoboLab-120 zaprojektowano z myślą o rozszerzaniu - nowe zadania dodawane w miarę poprawy możliwości modeli