Ocena jakości

RPE

2019AktywnyAktualizacja: 14 lipca 2026Opublikowany

Metodologia i infrastruktura do systematycznej oceny polityk sterujacych robotem (VLA, diffusion, RL) w kontrolowanych symulacjach z perturbacjami. Podstawa produkcyjnego wdrazania GR00T N, pi0, RT-2. Frameworki: Isaac Lab-Arena, RoboLab, LIBERO, LeRobot.

Kluczowa innowacja

Systematyczna metodologia i infrastruktura do pomiaru zdolnosci polityk sterujacych robotem (VLA, diffusion policy, RL policy) w kontrolowanych warunkach - najczesciej w symulacji z randomizowanymi perturbacjami, w celu przewidywania zachowania w realnym swiecie zanim polityka zostanie wdrozona.

Kategoria

Ocena jakości

Poziom abstrakcji

Wzorzec

Poziom operacji

Ewaluacja (runtime)ModelSystem

Zastosowania

Ewaluacja generalist robot policies (GR00T N, pi0, RT-2, OpenVLA) przed deployment na fizycznym robocieRegression testing polityk podczas iteracji treningowej (CI/CD dla polityk)Benchmarking i porownanie polityk roznych labów badawczych na wspolnych taskachSensitivity analysis - wykrywanie wrazliwosci polityki na konkretne parametry (np. wrist camera)Sim-to-real gap analysis - kalibracja transferu z symulacji do rzeczywistosciCurriculum learning - stopniowe zwiekszanie trudnosci ewaluacjiFleet policy validation - test przed rolloutem na tysiace robotow w produkcjiPublic leaderboards (RoboLab Leaderboard, LeRobot Hub) do porownan miedzy zespolami

Jak działa

1. Definicja task suite: zbiory zadan (np. 'put onion in bowl', 'stack blocks') z kryteriami sukcesu (predykaty stanu koncowego). 2. Scene curation: sceny 3D z obiektami rozmieszczonymi w symulacji - recznie w USD/URDF lub przez LLM (agentic scene generation w RoboLab). 3. Perturbation configuration: definiuje sie zakres wariacji (lighting, camera pose, backgrounds, textures, shadows, sensor noise) do systematycznego testowania robustness. 4. Rollout execution: polityka jest wywolywana krok po kroku na kazdym epizodzie - w symulacji stan srodowiska ewoluuje wedlug fizyki (PhysX, MuJoCo). Nowoczesne platformy uruchamiaja tysiace epizodow rownolegle na GPU (Isaac Sim + Isaac Lab). 5. Metrics capture: success/failure, time-to-completion, path efficiency, jerk, collision count, trajectory smoothness. 6. Statystyka i wnioski: agregacja metryk po zadaniach + wariacjach; sensitivity analysis (NPE w RoboLab) do wyliczenia wagi kazdego parametru srodowiska. 7. Sim-to-real transfer analysis: porownanie wynikow symulacyjnych z real-world runs zeby oszacowac reality gap.

Rozwiązany problem

Ewaluacja polityk robota bezposrednio na fizycznym robocie jest kosztowna (zuzycie sprzetu), niebezpieczna (kolizje z otoczeniem/ludzmi), wolna (jeden robot - jedna sesja na raz), niereproducible (kazdy fizyczny eksperyment ma unikatowy stan poczatkowy) i trudna do skalowania (tysiace wariantow scenariuszy). RPE w wysokiej wiernosci symulacji rozwiazuje wszystkie te problemy jednoczesnie, umozliwiajac wygenerowanie dziesiatek tysiecy epizodow ewaluacyjnych w krotkim czasie.

Komponenty

Task suiteDefinicja zadan

Zbiory sparametryzowanych zadan z jasnymi kryteriami sukcesu (predykaty stanu koncowego). Przyklady: LIBERO (130 tasks), RoboCasa, Meta-World (50 tasks), RoboLab (120 tasks).

Oficjalna

Simulation environmentWykonawca fizyki

Silnik symulacji (Isaac Sim/PhysX, MuJoCo, Genesis, Drake) z parametrami fizycznymi, renderowaniem, kamerami, actuatorami.

Oficjalna

Perturbation configKontrola robustness

Zakresy wariacji parametrow srodowiska: lighting, camera pose, backgrounds, textures, shadows, sensor noise, object mass/friction. Kluczowe dla domain randomization.

Oficjalna

Policy adapterInterfejs polityki

Warstwa lacząca badana polityke (VLA/diffusion/RL) z symulacja - dostarcza obserwacje w oczekiwanym formacie i wykonuje akcje. Framework-agnostyczna (LeRobot, HuggingFace).

Oficjalna

Metrics collectorRejestracja wynikow

Rejestracja per rollout: success/failure, time, jerk, collision count, trajectory. Eksport do dashboardu (Weights & Biases, MLflow) i leaderboards.

Oficjalna

Statistical analysisWnioskowanie

Agregacja metryk po zadaniach + wariacjach, statystyki (bootstrap CI), sensitivity analysis (NPE - Neural Posterior Estimation) do identyfikacji parametrow o najwiekszym wplywie.

Oficjalna

Implementacja

Implementacje referencyjne

NVIDIA Isaac Lab-Arena

Python · NVIDIA

Oficjalna

NVIDIA RoboLab

Python · NVIDIA Seattle Robotics Lab

Oficjalna

LIBERO

Python · Lifelong Robot Learning (UT Austin)

Oficjalna

Meta-World

Python · Farama Foundation

Oficjalna

SimplerEnv

Python · Simpler-Env (UT Austin/Stanford)

Oficjalna

LeRobot Environment Hub

Python · Hugging Face

Oficjalna

Pułapki implementacyjne

Sim-to-real gap ignorowanyKrytyczna

Wysoki success rate w symulacji NIE oznacza sukces w realnym swiecie. Dynamika, oswietlenie, tekstury, sensor noise moga sie znacznie roznic.

Rozwiązanie:Aggressive domain randomization, sim-to-real transfer study na malej probie realnych rollouts przed masowym deploymentem, hybrid eval (sim + real).

Overfitting do benchmarku (oversaturation)Wysoka

Gdy polityki sa trenowane na tym samym task suite, ewaluacja przestaje rozroznianc jakosc - wszystkie polityki maja 95%+ success.

Rozwiązanie:Evolving task libraries (RoboLab), held-out zadania niedostepne podczas treningu, coraz trudniejsze levele (LIBERO-Long).

Statystyczna nieistotnoscWysoka

Publikowanie wynikow z 10 epizodami per task - roznice miedzy politykami sa w szumie.

Rozwiązanie:Min. 100 epizodow per task, bootstrap confidence intervals, ewaluacja per seed z rownymi warunkami startowymi.

Success criterion binary bez granularnosciŚrednia

Success/failure ukrywa czesciowy postep - polityka moze byc 'blisko' sukcesu bez zaliczonego zadania.

Rozwiązanie:Dodatkowe metryki: task progress percentage, distance-to-goal, subtask completion rate, LLM-judge dla semantic evaluation.

Brak analizy przyczyn awariiŚrednia

Reportowanie tylko success rate bez zrozumienia dlaczego polityka zawiodla (grasp failure? planning failure? sensor failure?).

Rozwiązanie:Failure taxonomy per epizod, agentic root cause analysis (roadmap Isaac Lab-Arena), video recording failed rollouts + LLM analysis.

Ewolucja

Oryginalny paper · 2019 · CoRL 2019 · Tianhe Yu

Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement Learning

Tianhe Yu, Deirdre Quillen, Zhanpeng He, Ryan Julian, Karol Hausman, Chelsea Finn, Sergey Levine

2016

OpenAI Gym + MuJoCo

OpenAI Gym udostepnia standardowy interfejs do RL evaluation. MuJoCo (fizyka) staje sie standardem dla research w robotyce symulacyjnej.

2019

Meta-World benchmark (Yu et al.)

Punkt przełomowy

50 zadan manipulation z Sawyer robotem - pierwszy szeroko przyjeta benchmark do multi-task RL policy evaluation.

Meta-World (artykuł)

2020

RLBench (James et al.)

100 zadan z Franka Panda w PyRep/CoppeliaSim - rozszerza Meta-World o wiecej wariacji i realistyczna kinematyke.

2023

LIBERO (Liu et al.)

Punkt przełomowy

130 zadan z jezykiem naturalnym dla lifelong robot learning - pierwszy popularny benchmark dla language-conditioned imitation learning.

LIBERO (artykuł)

2024

SimplerEnv + RoboCasa

Punkt przełomowy

SimplerEnv (Li et al. 2024) dostarcza realistic simulation dla VLA policies (RT-2, OpenVLA). RoboCasa (Nasiriany et al.) - 100 kitchen tasks z LLM-generated variations.

2025

Isaac Lab-Arena + LeRobot integration

Punkt przełomowy

NVIDIA publikuje Isaac Lab-Arena (github.com/isaac-sim/IsaacLab-Arena) - large-scale GPU-accelerated framework z integracja Hugging Face LeRobot Hub. Redukcja czasu ewaluacji GR00T N z dni do <1 godziny.

2026

RoboLab + agentic scene generation

Punkt przełomowy

NVIDIA SRL prezentuje RoboLab na RSS 2026 - robot- i policy-agnostyczny benchmark z 120 zadaniami, NPE sensitivity analysis, agentic scene/task generation (code agents: /robolab-scenegen, /robolab-taskgen).

Hiperparametry (konfigurowalne osie)

Liczba epizodow per zadanieKrytyczna

Ile razy kazde zadanie jest wykonane (dla statystycznej istotnosci).

10Sanity check.

100Typowy publikacyjny.

1000+Foundation model rigor.

Osie perturbacjiWysoka

Ilosc wymiarow perturbacji: lighting, camera pose, textures, backgrounds, sensor noise itp.

3-5Podstawowa ewaluacja.

10+Rigorous robustness eval.

Kryterium sukcesuKrytyczna

Predykat stanu koncowego okreslajacy kiedy zadanie uwaza sie za wykonane.

object_in_target_zoneKlasyczne pick-and-place.

stack_height_matchesStacking tasks.

llm_judgeLLM as judge dla complex semantic tasks.

Specyficznosc instrukcjiWysoka

Poziom szczegolowosci instrukcji jezyka naturalnego. Kluczowe dla language-conditioned policies.

default'Put onion in bowl'.

vague'Put vegetable in bowl'.

specific'Pick up the round yellow onion and place it inside the wooden bowl'.

Złożoność obliczeniowa

Złożoność czasowa: O(N_tasks * N_variations * N_episodes * T_rollout). Złożoność przestrzenna: O(N_episodes * (obs_size + action_size + metadata)).

Paradygmat wykonania

Tryb główny

Gęsty

Ewaluacja jest w pelni deterministyczna per seed (przy braku RL agent stochasticity). Kazdy epizod przechodzi caly forward pass polityki dla kazdego kroku.

Wzorzec aktywacji

Wszystkie ścieżki aktywne

Równoległość

Poziom równoległości

W pełni równoległy

Epizody sa niezalezne i idealne do embarrassingly parallel execution na multi-GPU clusters. Isaac Sim potrafi renderowac 4096 srodowisk rownolegle na jednym GPU H100.

Zakres

InferencjaPomiędzy urządzeniami