1. Definicja task suite: zbiory zadan (np. 'put onion in bowl', 'stack blocks') z kryteriami sukcesu (predykaty stanu koncowego). 2. Scene curation: sceny 3D z obiektami rozmieszczonymi w symulacji - recznie w USD/URDF lub przez LLM (agentic scene generation w RoboLab). 3. Perturbation configuration: definiuje sie zakres wariacji (lighting, camera pose, backgrounds, textures, shadows, sensor noise) do systematycznego testowania robustness. 4. Rollout execution: polityka jest wywolywana krok po kroku na kazdym epizodzie - w symulacji stan srodowiska ewoluuje wedlug fizyki (PhysX, MuJoCo). Nowoczesne platformy uruchamiaja tysiace epizodow rownolegle na GPU (Isaac Sim + Isaac Lab). 5. Metrics capture: success/failure, time-to-completion, path efficiency, jerk, collision count, trajectory smoothness. 6. Statystyka i wnioski: agregacja metryk po zadaniach + wariacjach; sensitivity analysis (NPE w RoboLab) do wyliczenia wagi kazdego parametru srodowiska. 7. Sim-to-real transfer analysis: porownanie wynikow symulacyjnych z real-world runs zeby oszacowac reality gap.
Ewaluacja polityk robota bezposrednio na fizycznym robocie jest kosztowna (zuzycie sprzetu), niebezpieczna (kolizje z otoczeniem/ludzmi), wolna (jeden robot - jedna sesja na raz), niereproducible (kazdy fizyczny eksperyment ma unikatowy stan poczatkowy) i trudna do skalowania (tysiace wariantow scenariuszy). RPE w wysokiej wiernosci symulacji rozwiazuje wszystkie te problemy jednoczesnie, umozliwiajac wygenerowanie dziesiatek tysiecy epizodow ewaluacyjnych w krotkim czasie.
Zbiory sparametryzowanych zadan z jasnymi kryteriami sukcesu (predykaty stanu koncowego). Przyklady: LIBERO (130 tasks), RoboCasa, Meta-World (50 tasks), RoboLab (120 tasks).
Oficjalna
Silnik symulacji (Isaac Sim/PhysX, MuJoCo, Genesis, Drake) z parametrami fizycznymi, renderowaniem, kamerami, actuatorami.
Oficjalna
Zakresy wariacji parametrow srodowiska: lighting, camera pose, backgrounds, textures, shadows, sensor noise, object mass/friction. Kluczowe dla domain randomization.
Oficjalna
Warstwa lacząca badana polityke (VLA/diffusion/RL) z symulacja - dostarcza obserwacje w oczekiwanym formacie i wykonuje akcje. Framework-agnostyczna (LeRobot, HuggingFace).
Oficjalna
Rejestracja per rollout: success/failure, time, jerk, collision count, trajectory. Eksport do dashboardu (Weights & Biases, MLflow) i leaderboards.
Oficjalna
Agregacja metryk po zadaniach + wariacjach, statystyki (bootstrap CI), sensitivity analysis (NPE - Neural Posterior Estimation) do identyfikacji parametrow o najwiekszym wplywie.
Oficjalna
Wysoki success rate w symulacji NIE oznacza sukces w realnym swiecie. Dynamika, oswietlenie, tekstury, sensor noise moga sie znacznie roznic.
Gdy polityki sa trenowane na tym samym task suite, ewaluacja przestaje rozroznianc jakosc - wszystkie polityki maja 95%+ success.
Publikowanie wynikow z 10 epizodami per task - roznice miedzy politykami sa w szumie.
Success/failure ukrywa czesciowy postep - polityka moze byc 'blisko' sukcesu bez zaliczonego zadania.
Reportowanie tylko success rate bez zrozumienia dlaczego polityka zawiodla (grasp failure? planning failure? sensor failure?).
OpenAI Gym udostepnia standardowy interfejs do RL evaluation. MuJoCo (fizyka) staje sie standardem dla research w robotyce symulacyjnej.
50 zadan manipulation z Sawyer robotem - pierwszy szeroko przyjeta benchmark do multi-task RL policy evaluation.
100 zadan z Franka Panda w PyRep/CoppeliaSim - rozszerza Meta-World o wiecej wariacji i realistyczna kinematyke.
130 zadan z jezykiem naturalnym dla lifelong robot learning - pierwszy popularny benchmark dla language-conditioned imitation learning.
SimplerEnv (Li et al. 2024) dostarcza realistic simulation dla VLA policies (RT-2, OpenVLA). RoboCasa (Nasiriany et al.) - 100 kitchen tasks z LLM-generated variations.
NVIDIA publikuje Isaac Lab-Arena (github.com/isaac-sim/IsaacLab-Arena) - large-scale GPU-accelerated framework z integracja Hugging Face LeRobot Hub. Redukcja czasu ewaluacji GR00T N z dni do <1 godziny.
NVIDIA SRL prezentuje RoboLab na RSS 2026 - robot- i policy-agnostyczny benchmark z 120 zadaniami, NPE sensitivity analysis, agentic scene/task generation (code agents: /robolab-scenegen, /robolab-taskgen).
Złożoność czasowa: O(N_tasks * N_variations * N_episodes * T_rollout). Złożoność przestrzenna: O(N_episodes * (obs_size + action_size + metadata)).
Ile razy kazde zadanie jest wykonane (dla statystycznej istotnosci).
Ilosc wymiarow perturbacji: lighting, camera pose, textures, backgrounds, sensor noise itp.
Predykat stanu koncowego okreslajacy kiedy zadanie uwaza sie za wykonane.
Poziom szczegolowosci instrukcji jezyka naturalnego. Kluczowe dla language-conditioned policies.
Ewaluacja jest w pelni deterministyczna per seed (przy braku RL agent stochasticity). Kazdy epizod przechodzi caly forward pass polityki dla kazdego kroku.
Epizody sa niezalezne i idealne do embarrassingly parallel execution na multi-GPU clusters. Isaac Sim potrafi renderowac 4096 srodowisk rownolegle na jednym GPU H100.
GPU (NVIDIA RTX/A100/H100) obowiazkowe do renderowania scen + inferencji polityki + physics simulation. Isaac Sim wymaga CUDA.
MuJoCo/Drake moga dzialac na CPU dla malych symulacji, ale bez skalowalnosci nowoczesnych platform.
