RLinf

RLinf (od ang. Reinforcement Learning Infrastructure) to otwartoźródłowa, elastyczna i skalowalna infrastruktura uczenia ze wzmocnieniem (RL) zaprojektowana dla ucieleśnionej (embodied) i agentowej AI. Skrót „inf” oznacza zarówno „Infrastructure” (infrastruktura), jak i „Infinite” (nieskończoność), podkreślając wsparcie dla otwartego, ciągłego uczenia. Projekt obsługuje różnorodne przepływy treningu RL (PPO, GRPO, SAC) i ukrywa złożoność programowania rozproszonego, umożliwiając skalowanie treningu na wiele węzłów GPU bez zmian w kodzie. Kluczową innowacją opisaną w artykule jest transformacja przepływu makro-do-mikro (macro-to-micro flow, M2Flow) oraz hybrydowy tryb wykonania, który dla embodied RL osiąga do 2,43× wyższą przepustowość niż istniejące frameworki. RLinf integruje wiele backendów (FSDP + HuggingFace/SGLang/vLLM oraz Megatron + SGLang/vLLM) i wspiera trening modeli VLA, VLM oraz modeli świata w symulacji i w świecie rzeczywistym. Framework powstał w 2025 roku jako współpraca badaczy m.in. z Tsinghua University, Infinigence-AI, Peking University i Beihang University; jest udostępniany na licencji Apache 2.0. RLinf został włączony do ekosystemu PyTorch (Q3 2026) i przyjęty jako infrastruktura treningu RL w Isaac Lab v3.0.0.