Zespół X-Era AI Lab opublikował 26 października 2026 r. pracę opisującą E0.5 — model świata-akcji, który w roli głównego szkieletu stawia model geometrii 3D, a nie model wideo ani językowo-wizyjny. Na dwóch fizycznych robotach — dwuramiennym AgileX Piper i humanoidzie Zerith H1 — osiągnął średnio 85,0% i 88,3% skuteczności, wobec 71,7% i 61,7% dla π0.5. Kod trafił na GitHub na licencji MIT, a wagi i przetworzone dane na Hugging Face.
Najważniejsze w skrócie
- AgileX Piper: średnia skuteczność 85,0% wobec 71,7% dla π0.5, czyli przewaga 13,3 pkt proc.
- Zerith H1: 88,3% wobec 61,7% dla π0.5, czyli przewaga blisko 27 pkt proc.
- RoboTwin 2.0 bez wstępnego trenowania na danych robotycznych: 89,90% na scenach czystych i 50,09% na losowanych
- Rdzeń polityki liczy 2,32 mld parametrów wobec ok. 3,3 mld w π0.5
- Wstępne trenowanie na 160 010 trajektoriach z AgiBotWorld-Beta, czyli ok. 2645 godzinach nagrań
Od czego się to zaczyna
Robot ma zapakować ładowarkę do pudełka — razem z całym kablem. Korpus jest sztywny i zawsze wygląda podobnie, ale kabel jest miękki i za każdym razem układa się inaczej. W testach zespołu X-Era to zadanie dostało własną punktację: 0,25 punktu za schowanie korpusu i 0,75 za schowanie całego przewodu.
Żeby to zrobić, model musi przewidzieć, gdzie kabel znajdzie się za sekundę — nie jak będzie wyglądał na obrazku, tylko gdzie fizycznie będzie w przestrzeni.
Tu pojawia się problem: typowy model uczy się przewidywać przyszłą klatkę wideo, a w takiej klatce zmiana kształtu kabla miesza się ze zmianą oświetlenia, cienia i odbicia.
E0.5 ma rozwiązywać dokładnie ten problem — przez przewidywanie przyszłej geometrii zamiast przyszłego obrazu.
Co dokładnie zrobił zespół X-Era AI?
E0.5 jest zbudowany na VGGT-Omega, czyli na gotowym modelu rekonstrukcji 3D, który z kilku zdjęć odtwarza głębię i ułożenie sceny. W większości konkurencyjnych rozwiązań taki model bywa co najwyżej dodatkowym źródłem cech, a głównym szkieletem pozostaje model wideo albo językowo-wizyjny. Tutaj jest odwrotnie — to szkielet geometryczny liczy wszystko i to jego wagi są trenowane.
Druga zmiana dotyczy celu uczenia. Obok sekwencji ruchów model przewiduje przyszły stan 3D sceny: mapy głębi?mapy głębi: obrazy, w których każdy piksel przechowuje odległość od kamery zamiast koloru, mapy punktów i parametry kamer dla klatki odpowiadającej ostatniemu krokowi planowanej akcji. Akcja i przewidywana geometria opisują więc ten sam odcinek czasu.
Sekwencję ruchów generuje osobny moduł oparty na architekturze DiT z WAN2.2, połączony ze szkieletem geometrycznym w układzie mixture-of-transformers?mixture-of-transformers: układ, w którym kilka wyspecjalizowanych transformerów dzieli jeden strumień danych i każdy odpowiada za inną część zadania. Polecenie językowe wchodzi przez zamrożony enkoder T5. Model planuje 32 kroki naprzód i używa 10 kroków odszumiania?odszumiania: stopniowego usuwania szumu z losowej próbki, dzięki któremu model dyfuzyjny dochodzi do gotowego wyniku.
Według pracy samo przejście z rekonstrukcji bieżącej sceny na przewidywanie przyszłej podniosło średnią skuteczność o 7,93 pkt proc., a wobec wariantu zupełnie bez rekonstrukcji geometrii — o 9,43 pkt proc.
Przewidywana geometria służy wyłącznie jako sygnał uczący w treningu. Podczas działania robota model jej nie potrzebuje i nie dostaje jej na wejściu.
Co znaczą te nazwy?
W pracy pojawia się kilka pojęć, bez których liczby niewiele mówią.
- Model świata-akcji (WAM) — model, który uczy się jednocześnie dwóch rzeczy: jaki ruch wykonać i jak po tym ruchu będzie wyglądać otoczenie. Odpowiednik gracza, który planuje posunięcie razem z przewidywaniem układu planszy po nim.
- VGGT-Omega — gotowy model rekonstrukcji 3D, który z obrazów odtwarza geometrię sceny. Punkt startowy, podobnie jak pretrenowany backbone w klasyfikacji obrazów.
- Mapa punktów — zapis, w którym każdemu pikselowi przypisana jest pozycja w przestrzeni. Można to porównać do zdjęcia, w którym każdy punkt zna swoją odległość od kamery.
- Chunk akcji — paczka kolejnych ruchów planowanych naraz, tu 32 kroki po 14 wartości stawów i chwytaka. Zamiast decydować co klatkę, model wydaje całą sekwencję.
- π0.5 — model językowo-wizyjno-akcyjny od Physical Intelligence, jeden z najczęściej używanych punktów odniesienia w manipulacji robotycznej.
Razem te pojęcia układają się w jedno: E0.5 zamienia model rekonstruujący to, co widać, w model przewidujący to, co się zaraz stanie w przestrzeni — i od razu wiąże to z ruchem.
Dlaczego nie wystarczy dorzucić geometrii do modelu wideo?
Dzisiejszy standard wygląda tak: głównym szkieletem jest model wideo lub językowo-wizyjny, a informacja 3D wchodzi do niego jako dodatkowe cechy albo jako pomocniczy cel treningu. To działa i podnosi wyniki, ale geometria pozostaje dodatkiem do reprezentacji, która powstała po to, żeby opisywać wygląd.
Różnica ujawnia się poza rozkładem treningowym?poza rozkładem treningowym: w sytuacjach, których model nie widział w danych uczących — z nieznanymi obiektami, scenami lub warunkami. Jeżeli model nauczył się przewidywać piksele, to razem z kształtem obiektu modeluje też oświetlenie, teksturę i tło. Przy nieznanym kablu albo innym ustawieniu stołu ta część wiedzy przestaje pomagać. Według pracy w testach poza rozkładem E0.5 uzyskał około trzydziestokrotnie wyższą skuteczność niż porównywane modele świata-akcji oparte na przewidywaniu wideo.
Jest też drugi problem, czysto praktyczny: kto trenuje szkielet. Pokrewne podejście VGA również używa natywnego szkieletu geometrycznego, ale rekonstruuje bieżącą scenę i dostraja model metodą LoRA, bo pełne trenowanie wszystkich wag psuło u nich wyniki. E0.5 odmraża cały szkielet i trenuje go razem z modułem akcji. Ten wybór jest tu kluczowy — bez niego nie ma przejścia z rekonstrukcji na przewidywanie.
Co pokazują testy na prawdziwych robotach?
Zespół testował trzy zadania na dwóch platformach: odłożenie myszki na podkładkę, zapakowanie ładowarki z kablem i wyrzucenie śmieci do kosza. Każde w wariancie łatwym, zgodnym z danymi treningowymi, i trudnym, z nieznanymi przedmiotami. Każda polityka dostała 120 prób łącznie.
Największa różnica dotyczy humanoida. Na Zerith H1 E0.5 po wstępnym trenowaniu uzyskał średnio 88,3% skuteczności wobec 61,7% dla π0.5-base — i komplet 100% w wariancie łatwym we wszystkich trzech zadaniach. Na dwuramiennym Piperze przewaga jest mniejsza, ale wyraźna: 85,0% wobec 71,7%.
Najtrudniejsze okazało się pakowanie kabla. W wariancie z nieznanymi ładowarkami E0.5 osiągnął 80% na Piperze i 50% na H1, podczas gdy π0.5-base zatrzymał się na 40% i 30%.
W symulacji obraz jest bardziej mieszany. Na RoboTwin 2.0 E0.5 bez żadnego wstępnego trenowania na danych robotycznych wyprzedza π0.5 w średniej (70,00 wobec 58,33), ale ustępuje modelom PatchWAM i MWA-Phoenix, które mają po około 79 punktów średniej. Jego atutem jest tu raczej stosunek wyniku do rozmiaru i do kosztu treningu niż sam wynik.
| Platforma | E0.5 | π0.5 |
|---|---|---|
| AgileX Piper (robot fizyczny) | 85,0% | 71,7% |
| Zerith H1 (robot fizyczny) | 88,3% | 61,7% |
| RoboTwin 2.0 (symulacja, bez wstępnego trenowania) | 70,00 | 58,33 |
Czy to już działa?
Tak, jako otwarty kod badawczy — nie jako produkt. Repozytorium X-EraAI/e05 powstało 27 października 2026 r., a kod jest objęty licencją MIT. Na Hugging Face opublikowano politykę RoboTwin, wstępnie wytrenowany szkielet VGGT do adaptacji na realnym robocie oraz przetworzony zbiór danych o rozmiarze około 378 GiB.
Ograniczenia są podane wprost. Licencja MIT dotyczy kodu repozytorium i nie zmienia warunków materiałów zewnętrznych — VGGT-Omega ma warunki niekomercyjne, ograniczone do badań. Środowisko referencyjne to Linux z ośmioma kartami GPU, a oryginalny trening RoboTwin prowadzono na 32 kartach. Repozytorium nie zawiera też polityk dla samych robotów Piper i H1, a jedynie szkielet do ich dotrenowania.
Dlaczego to ważne?
Wynik podważa domyślne założenie, że najlepszym fundamentem dla sterowania robotem jest model wyuczony na wideo albo na parach obraz-tekst. Jeżeli rozumienie struktury przestrzennej przenosi się lepiej niż rozumienie wyglądu, to zmienia kalkulację kosztów: mniejszy model osiąga więcej przy mniejszej liczbie danych. Otwarte wagi pozwalają sprawdzić tę tezę poza zespołem, który ją postawił.
Co dalej?
- Wyniki na prawdziwych robotach pochodzą ze 120 prób na politykę i trzech zadań stołowych — potwierdzenie przewagi wymaga niezależnych powtórzeń na szerszym zestawie zadań
- Repozytorium odnotowuje, że pełna ewaluacja 50 zadań RoboTwin nie została powtórzona w ramach walidacji kodu, więc liczby z pracy czekają na reprodukcję przez zewnętrzne zespoły
- Warunki niekomercyjne szkieletu VGGT-Omega pozostają barierą dla wdrożeń produkcyjnych, mimo licencji MIT na sam kod
Źródła
- arXiv — E0.5: From Reconstructive to Future-Predictive 3D Foundations for Robotic World-Action Modeling
- GitHub — X-EraAI/e05
- X-Era.AI — E0.5 · Future-Predictive 3D World-Action Model
- Hugging Face — X-EraAI/e05-robotwin
