MiMo-V2.6-Pro-RL

MiMo-V2.6-Pro-RL to flagowy checkpoint serii MiMo-V2.6 rozwijanej przez zespół Xiaomi MiMo. Jest to omnimodalny model z rzadką architekturą Mixture of Experts o 1,02 biliona parametrów, z których w pojedynczym przebiegu aktywowanych jest 42 miliardy (384 ekspertów routowanych, 8 aktywnych). Model przyjmuje tekst, obraz, wideo i audio, a generuje tekst, i obsługuje kontekst do 1 miliona tokenów.

Architektura

Backbone LLM liczy 70 warstw transformera (60 z uwagą przesuwnego okna SWA i 10 z uwagą globalną GA), o rozmiarze ukrytym 6144. Model łączy omnimodalne enkodery: wizyjny MiMo ViT (681 mln parametrów, 28 warstw) oraz audio (tokenizer 308 mln + enkoder patchy 127 mln). Dekodowanie spekulatywne realizuje 5-warstwowy moduł Multi-Token Prediction. Wagi udostępniono w formacie FP8.

Czym różni się wariant Pro-RL

Pro-RL to największy, flagowy wariant serii (obok mniejszego MiMo-V2.6-Flash-RL) i punkt centralny podejścia „skalowania uczenia ze wzmocnieniem ku samodoskonaleniu". Model przechodzi jeden mieszany przebieg RL obejmujący kodowanie, agentów ogólnych, zadania wizyjne i cyberbezpieczeństwo, z w pełni asynchronicznym GRPO na dużych batchach (1568 promptów × 16 rolloutów na krok). Sygnał nagrody skaluje grupowe ocenianie agentowe (Groupwise Reward Synthesis i Groupwise Advantage Redistribution), a po fazie RL stosowana jest dystylacja on-policy z wieloma nauczycielami (MOPD2).