Architektura

VAM

2025EksperymentalnyOpublikowano: 27 lipca 2026Aktualizacja: 27 lipca 2026Opublikowany

Architektura uczenia robotow laczaca generatywny model wideo z dekoderem akcji, ktory zamienia przewidziane klatki na komendy ruchu robota. Alternatywa dla modeli Vision-Language-Action (VLA).

Kluczowa innowacja

Wykorzystuje generatywny model wideo — ktory dzieki wielkoskalowemu treningowi juz rozumie dynamike swiata — jako rdzen polityki robota, dodajac dekoder akcji zamiast trenowac polityke od zera na statycznych obrazach (jak w modelach VLA).

Kategoria

Architektura

Poziom abstrakcji

Paradygmat

Poziom operacji

ModelSterowanie robotemInferencja

Zastosowania

Przemyslowe uczenie robotow z minimalna iloscia danychManipulacja obiektami (w tym miekkimi) w produkcjiRealizacja zamowien / intralogistykaSzybkie dostrajanie robotow do nowych zadanTransfer wiedzy z generatywnych modeli wideo do robotyki

Jak działa

1) Bazowy generatywny model wideo jest wstepnie trenowany na duzej skali nagran, ucząc sie dynamiki i zachowania swiata. 2) Dla danego zadania i obserwacji model przewiduje przyszle klatki/sekwencje wideo (jak scena powinna sie rozwinac). 3) Dekoder akcji zamienia te przewidziane klatki na komendy ruchu robota (np. trajektorie, sterowanie manipulatorem). 4) Model jest dostrajany do konkretnego zadania na niewielkiej ilosci danych robota (demonstracje), poniewaz wiekszosc wiedzy o dynamice pochodzi z pretreningu wideo.

Rozwiązany problem

Modele Vision-Language-Action trenowane na statycznych obrazach wymagaja bardzo duzych ilosci danych robota i slabo generalizuja do nowej dynamiki sceny. VAM redukuje zapotrzebowanie na dane i poprawia rozumienie dynamiki, przenoszac wiedze z generatywnych modeli wideo.

Komponenty

Generatywny model wideoRdzen polityki / priorytet dynamiki

Wstepnie wytrenowany model generacji wideo, ktory rozumie dynamike i zachowanie swiata i przewiduje przyszle klatki sceny.

FLUX 3 (Black Forest Labs)Model wideo uzyty w FLUX-mimic.

Oficjalna

Dekoder akcjiMapowanie wideo -> akcja

Modul zamieniajacy przewidziane klatki/sekwencje wideo na komendy ruchu robota (trajektorie, sterowanie manipulatorem).

Oficjalna

Implementacja

Implementacje referencyjne

mimic-video (mimic robotics)

mimic robotics

Oficjalna

FLUX-mimic (mimic robotics + Black Forest Labs)

mimic robotics

Oficjalna

Pułapki implementacyjne

Latencja inferencji wideoWysoka

Generacja klatek moze byc zbyt wolna dla sterowania w czasie rzeczywistym.

Rozwiązanie:Destylacja, krotszy horyzont predykcji, optymalizacja inferencji, dedykowany sprzet.

Rozbieznosc wideo-akcjaŚrednia

Przewidziane klatki moga byc fizycznie niewykonalne przez robota (dekoder musi je urealnic).

Rozwiązanie:Uczenie dekodera na danych robota, ograniczenia kinematyczne, korekty eksperckie.

Ewolucja

2025

mimic-video — pierwszy Video-Action Model

Punkt przełomowy

mimic robotics wprowadza koncept modeli wideo-akcja, laczac generacje wideo z predykcja akcji robota.

2026

FLUX-mimic — VAM na bazie FLUX 3

mimic robotics i Black Forest Labs prezentuja FLUX-mimic; dostrojenie zadania z ~30 min danych robota, wdrozenie w Audi Production Lab.

Hiperparametry (konfigurowalne osie)

Bazowy model wideoKrytyczna

Wybor generatywnego modelu wideo stanowiacego rdzen.

FLUX 3Uzyty w FLUX-mimic.

Typ dekodera akcjiWysoka

Sposob mapowania przewidzianych klatek na komendy ruchu.

Ilosc danych do dostrojeniaWysoka

Ilosc danych robota potrzebna do dostrojenia zadania.

~30 minvs 30+ h w podejsciach wczesniejszych.

Złożoność obliczeniowa

Złożoność czasowa: Zalezna od bazowego modelu wideo. Złożoność przestrzenna: O(rozmiar modelu wideo + dekoder).

Wąskie gardło obliczeniowe

Inferencja generatywnego modelu wideo

Predykcja klatek/sekwencji wideo w czasie sterowania jest najbardziej kosztowna obliczeniowo; wyzwaniem jest osiagniecie latencji wystarczajacej do sterowania robotem w czasie rzeczywistym.

Zależy od

Rozdzielczosc i dlugosc horyzontu wideo