Model trenowany od podstaw jednocześnie na danych ze wszystkich modalności, co eliminuje konieczność łączenia odrębnych, wstępnie wytrenowanych enkoderów modalności i umożliwia naukę wspólnych reprezentacji międzymodalnych.
Tworzy jednolite wejście dla wspólnego szkieletu transformerowego, umożliwiając sekwencyjne przetwarzanie danych różnych modalności.
Moduł odpowiedzialny za konwersję danych ze wszystkich modalności do wspólnej przestrzeni tokenów. Dla obrazów stosuje się zazwyczaj kwantyzację wektorową (VQ-VAE) generującą dyskretne tokeny wizualne; tekst tokenizowany jest standardowo; audio konwertowane jest do spektrogramów lub dyskretnych tokenów akustycznych.
Centralna jednostka obliczeniowa modelu; realizuje wspólną reprezentację i rozumowanie między modalnościami.
Pojedynczy stos warstw transformerowych przetwarzający interleaved sekwencje tokenów ze wszystkich modalności. Mechanizm uwagi (self-attention) operuje na połączonej sekwencji, pozwalając tokenom różnych modalności wzajemnie na siebie wpływać.
Zapewnia wspólną sygnaturę gradientu dla wszystkich modalności podczas treningu, wymuszając naukę reprezentacji cross-modal.
Cel treningowy stosowany jednocześnie do danych ze wszystkich modalności. Typowo jest to autoregresywne przewidywanie kolejnego tokenu (next-token prediction) na interleaved sekwencjach multimodalnych, bez oddzielnych faz wstępnego treningu per modalność.
Umożliwia generowanie wyjść w wielu modalnościach przy zachowaniu wspólnego szkieletu.
Osobne głowice wyjściowe mapujące wewnętrzną reprezentację transformera na przestrzeń wyjściową właściwą dla danej modalności. Mogą obejmować głowicę językową (softmax nad słownikiem tekstowym) oraz głowicę wizualną (softmax nad słownikiem tokenów obrazu lub dekoder obrazu).
Częściowo równoległy
Trening na interleaved danych multimodalnych jest możliwy do zrównoleglenia na urządzeniach (data parallelism, tensor parallelism), jednak sekwencyjna natura autoregresywnego dekodowania ogranicza równoległość w trakcie inferencji. Trening od zera na danych wielu modalności wymaga dużej liczby GPU/TPU.
Gęsty
Wszystkie ścieżki aktywne
Podstawowy wzorzec wykonania jest gęsty (dense): wszystkie parametry transformera są aktywowane dla każdego tokenu, niezależnie od modalności. Warianty z MoE wprowadzają warunkową aktywację ekspertów, jednak bazowy paradygmat natywnie multimodalny nie wymaga routingu.
Głębokość fuzji modalności
Reprezentacja tokenów modalności
Zakres modalności
Integracja Mixture of Experts
Zastosowanie query-key normalization (QK-Norm), dostosowanie współczynnika uczenia do skali modelu i modalności, ostrożna kuracja danych interleaved.
Fazy treningu stopniowanego (curriculum), efektywne mieszanie danych z kontrolą proporcji modalności, wykorzystanie MoE do redukcji FLOP-ów aktywnych na token.
Staranna kuracja proporcji danych per modalność; stosowanie oddzielnych tokenizatorów wyważających dystrybucje tokenów.
Oddzielne głowice wyjściowe per modalność; etapowe wyrównywanie (SFT, RLHF) z danymi obejmującymi mixed-modal outputs.
GENEZA · Papier źródłowy
Chameleon: Mixed-Modal Early-Fusion Foundation ModelsBEiT i tokenizacja wizualna
Uczenie z dokumentów mieszanych (Aghajanyan et al.)
Gemini — pierwszy duży model natywnie multimodalny
przełomChameleon — otwarty model wczesnej fuzji od podstaw
przełomGPT-4o — end-to-end trening przez modalności tekst/audio/obraz
przełomPrawa skalowania dla natywnych modeli multimodalnych (Apple/Sorbonne)
przełomTrening i inferencja natywnych modeli multimodalnych opiera się na dużych matrycowych operacjach transformera (QKV projections, FFN), które są zoptymalizowane dla tensorowych rdzeni GPU (np. NVIDIA H100, A100, GB200). Chameleon trenowany był na klastrach GPU A100.
Większość znanych implementacji trenowana była na GPU NVIDIA A100/H100. GPT-4o i Gemini korzystają z TPU (Google) lub GB200 NVL72 (OpenAI).
Google Gemini — jeden z kluczowych natywnych modeli multimodalnych — trenowany był na TPU v4/v5. Architektura transformerowa jest dobrze dopasowana do macierzowych akceleratorów TPU.
TPU szczególnie efektywne dla Gemini-style architectures z dużymi batch size.
Multimodal LLM to klasa dużych modeli językowych rozszerzonych o zdolność odbioru, interpretacji i generowania treści w wielu modalnościach. Oprócz tekstu modele tego typu mogą analizować obrazy, dźwięk, dokumenty, wykresy, a czasem również wideo, dzięki czemu nadają się do bardziej ogólnych i naturalnych interakcji człowiek–AI.
PRZEJDŹ DO KONCEPTUMixture of Experts (MoE) dzieli model na wiele sub-sieci (ekspertów) i używa rutera do aktywacji tylko części z nich dla danego wejścia, co pozwala skalować pojemność bez proporcjonalnego wzrostu kosztów obliczeniowych.
PRZEJDŹ DO KONCEPTU