Architektura

WUM

2026AktywnyOpublikowano: 23 lipca 2026Aktualizacja: 23 lipca 2026Opublikowany

Architektura ucieleśnionej AI (X Square Robot): łączy percepcję, język, akcję i predykcję fizyczną w jednej sieci end-to-end. Podstawa serii modeli WALL.

Kluczowa innowacja

Trenowanie percepcji, języka, akcji i predykcji fizycznej w jednej wspólnej sieci, zamiast w oddzielnych modułach wizji, języka i akcji.

Kategoria

Architektura

Poziom abstrakcji

Paradygmat

Poziom operacji

ModelSystemSterowanie robotem

Zastosowania

Ucieleśnione modele bazowe do sterowania robotamiManipulacja ogólnego przeznaczenia (obiekty miękkie, płyny, deformowalne)Generalizacja między zadaniami i scenariuszamiSterowanie end-to-end z rozumowaniem i predykcją fizyczną

Jak działa

Zamiast łączyć osobno wytrenowane moduły, World Unified Model uczy jednej sieci reprezentującej łącznie: percepcję (przetwarzanie danych sensorycznych), język (rozumienie instrukcji i rozumowanie), akcję (sterowanie ruchem robota) oraz predykcję fizyczną (przewidywanie skutków działań w świecie). Dzięki wspólnemu treningowi model buduje spójną reprezentację, w której rozumowanie i działanie są ugruntowane w tej samej przestrzeni. Architektura jest realizowana w modelach WALL (np. WALL-B) o skali miliardów parametrów, wspierających generalizację między zadaniami i scenariuszami.

Rozwiązany problem

Klasyczne systemy robotyczne łączą oddzielne moduły wizji, języka i sterowania, co utrudnia spójne przenoszenie informacji między nimi i generalizację. WUM integruje te funkcje w jednej sieci, umożliwiając natywnie multimodalne, end-to-end sterowanie oraz uwzględnienie predykcji fizycznej (konsekwencji działań) w jednym modelu.

Komponenty

PercepcjaWejście sensoryczne

Przetwarzanie danych sensorycznych (wizja i inne modalności) w ramach wspólnej sieci.

Język i rozumowanieRozumienie i decyzje

Rozumienie instrukcji w języku naturalnym i rozumowanie (w tym przestrzenne i przyczynowe).

Sterowanie akcjąWyjście sterujące

Generowanie precyzyjnych akcji sterujących robotem, w tym kontrola siły i pozycjonowanie.

Predykcja fizycznaModelowanie świata

Przewidywanie skutków działań w świecie (element modelowania świata) trenowane w tej samej sieci.

Wspólna sieć end-to-endIntegracja

Jedna sieć trenowana łącznie, zastępująca oddzielne moduły wizji/języka/akcji.

Implementacja

Implementacje referencyjne

X Square Robot (GitHub)

Python · X Square Robot

Oficjalna

X Square Robot (Hugging Face)

Python · X Square Robot

Oficjalna

Pułapki implementacyjne

Trudniejsza interpretowalność i debugowanieŚrednia

Zunifikowana sieć end-to-end jest trudniejsza do analizy i naprawy niż architektura modułowa z rozdzielonymi komponentami.

Rozwiązanie:Metody interpretowalności, jawne etapy rozumowania (np. embodied chain-of-thought).

Wysoki koszt danych i obliczeńWysoka

Wspólny trening wielu modalności wymaga dużych, zróżnicowanych danych ucieleśnionych i znacznych zasobów obliczeniowych.

Rozwiązanie:Efektywne tokenizatory akcji, wstępny trening, ponowne użycie danych.

Wyniki głównie raportowane przez producentaŚrednia

Duża część wyników i twierdzeń pochodzi od producenta i wymaga niezależnej weryfikacji.

Rozwiązanie:Poczekać na niezależne benchmarki i replikacje.

Ewolucja

2025

WALL-OSS

Otwarty model wizualno-językowo-akcyjny X Square Robot (wrzesień 2025) — wcześniejszy etap serii WALL.

2026

WALL-B i architektura World Unified Model

Punkt przełomowy

Model WALL-B (kwiecień 2026, Pekin) wprowadza architekturę World Unified Model trenującą percepcję, język, akcję i predykcję fizyczną w jednej sieci.

Hiperparametry (konfigurowalne osie)

Skala parametrówWysoka

Wielkość modelu; modele WALL działają w skali miliardów parametrów.

miliardy parametrów / billion-level

Zunifikowane modalnościWysoka

Które funkcje są trenowane wspólnie w jednej sieci.

percepcja + język + akcja + predykcja fizyczna

Wąskie gardło obliczeniowe

Wspólny trening end-to-end na wielu modalnościach

Łączny trening percepcji, języka, akcji i predykcji fizycznej w jednej sieci o skali miliardów parametrów jest kosztowny obliczeniowo i wymaga dużych, zróżnicowanych danych ucieleśnionych.