RoboDojo definiuje ustandaryzowany zestaw zadań manipulacyjnych realizowanych w symulacji (Isaac Sim) oraz odpowiadający im zestaw zadań na fizycznym robocie. Polityki są uruchamiane według wspólnego protokołu, a wyniki (skuteczność wykonania zadań) agregowane do jednego rankingu na publicznym leaderboardzie. Warstwa RealEval standaryzuje pomiary w świecie rzeczywistym, aby ograniczyć rozbieżności sprzętowe i proceduralne między laboratoriami.
Ocena polityk manipulacji robotycznej była dotąd rozproszona: różne prace używały niekompatybilnych zadań, symulatorów i protokołów, co uniemożliwiało uczciwe porównania między modelami oraz wiarygodne przenoszenie wyników z symulacji do rzeczywistości.
Zestaw zadań manipulacyjnych zbudowanych w NVIDIA Isaac Sim, uruchamianych wg wspólnego protokołu.
Zestaw zadań przeprowadzanych na fizycznym robocie, weryfikujący realne zdolności manipulacyjne.
Warstwa standaryzująca pomiary w świecie rzeczywistym oraz publiczny ranking wyników.
Istnieje osobny, niepowiązany projekt RoboDojo.jl (różniczkowalny symulator w Julii, oparty na pracy Dojo) — to inny byt niż ten benchmark.
Wyniki real-world zależą od konkretnego sprzętu i procedur — należy trzymać się protokołu, by zachować porównywalność.
Publikacja pracy, leaderboardu i implementacji referencyjnej benchmarku sim-and-real dla manipulacji.
