Isaac 0.5

Isaac 0.5 to otwarty foundation model do uczenia robotów opracowany przez Perceptron AI (Perceptron, Inc.). W jednym rzadkim modelu o 36 miliardach parametrów łączy multimodalne rozumienie wideo, ucieleśnione rozumowanie, ugruntowanie przestrzenne, estymację postępu zadania oraz sterowanie robotem. Model przyjmuje obrazy, wideo, instrukcje w języku naturalnym, stan robota i poprzednie akcje, a zwraca tekst, znormalizowane współrzędne, wyjścia stanu zadania lub akcje robota.

Architektura

Isaac 0.5 wykorzystuje szkielet wizualno-językowy z rodziny Qwen z rzadkimi ekspertami (mixture-of-experts). Każda warstwa MoE daje tokenowi dostęp do 256 wyuczonych ekspertów oraz trasy zerowej — token może użyć od zera do ośmiu trasowanych ekspertów, przy stale aktywnym ekspercie współdzielonym i ścieżce rezydualnej. Sterowanie ciągłe realizuje dedykowany ekspert Flow oraz 36-blokowy transformer dyfuzyjny generujący fragment akcji (action chunk); sterowanie dyskretne korzysta ze słownika 2048 tokenów akcji FAST.

Trening

Model wytrenowano na ponad 35 systemach robotycznych, 100 000 godzin doświadczenia robotów, milionie godzin ogólnego wideo i trzech bilionach tokenów multimodalnych. Rozumienie wideo, ugruntowanie przestrzenne, postęp zadania, predykcja przyszłych percepcji i akcje robota są współtrenowane od początku na jednym wspólnym szkielecie. Perceptron opisuje też prawo skalowania opisujące wymianę między ilością ogólnego wideo a kosztowną teleoperacją.

Dostępność

Wagi modelu publikowane są na Hugging Face na licencji Apache 2.0, a kod treningu i inferencji, integracja z LeRobot, referencyjny serwer polityki oraz narzędzia ewaluacyjne — w repozytorium Perceptron Isaac na GitHub. Checkpoint działa przez repozytorium Perceptron Isaac; bezpośrednie użycie stockowego Transformers czy LeRobot nie jest obecnie wspierane.