SmolVLA

SmolVLA to kompaktowy (450M parametrów) i otwarty model Vision-Language-Action stworzony przez Hugging Face w ramach ekosystemu LeRobot. Model przyjmuje sekwencję obrazów RGB z wielu kamer, bieżący stan sensomotoryczny robota oraz instrukcję w języku naturalnym, a na wyjściu generuje ciągłą sekwencję akcji (action chunk) do sterowania robotem.

Architektura łączy backbone Vision-Language (SmolVLM2 — enkoder wizyjny SigLIP i dekoder językowy SmolLM2) z lekkim action expertem (~100M parametrów) opartym na transformerze i trenowanym celem flow matching. Action expert generuje ciągłe akcje w sposób nieautoregresyjny, co umożliwia sterowanie w czasie rzeczywistym.

Model wytrenowano wyłącznie na publicznych, udostępnionych przez społeczność zbiorach danych oznaczonych tagiem lerobot — 487 wyselekcjonowanych zbiorów skupionych na ramieniu SO-100, ustandaryzowanych do 30 FPS, co dało około 10 milionów klatek. SmolVLA obsługuje też inferencję asynchroniczną, która oddziela wykonywanie akcji od predykcji kolejnych fragmentów, dając około 30% szybszą reakcję i dwukrotnie wyższą przepustowość zadań.