Każda modalność jest kodowana do wektorów cech przez dedykowany enkoder (np. ViT dla obrazu, tokenizator dla tekstu, enkoder audio). Reprezentacje są rzutowane do wspólnej przestrzeni i łączone (fuzja wczesna, późna lub wspólna) — np. przez konkatenację tokenów, cross-attention lub uczenie kontrastowe (jak w CLIP). Wspólny szkielet (zwykle Transformer) przetwarza połączone reprezentacje, a odpowiednie głowice/dekodery generują wynik w docelowej modalności (tekst, obraz, audio). Modele mogą być budowane przez doklejenie enkoderów do istniejącego LLM albo trenowane natywnie multimodalnie od początku.
Świat jest z natury multimodalny, a modele jednomodalne (np. tylko tekst) nie potrafią wiązać informacji między obrazem, dźwiękiem i tekstem. Multimodal AI rozwiązuje problem rozdzielonych, wąskich modeli, umożliwiając wspólne rozumienie i generowanie treści w wielu modalnościach.
Osobne enkodery zamieniające każdą modalność (obraz, audio, tekst) na wektory cech.
Oficjalna
Rzutuje reprezentacje modalności do wspólnej przestrzeni i łączy je (konkatenacja, cross-attention).
Oficjalna
Wspólny model (zwykle Transformer) przetwarzający połączone reprezentacje.
Generują wynik w docelowej modalności (tekst, obraz, audio).
Oficjalna
Reprezentacje różnych modalności nie są dobrze wyrównane, co psuje wiązanie znaczeń.
Model opisuje obiekty nieobecne na obrazie lub myli treść modalności.
Obrazy/wideo w wysokiej rozdzielczości generują ogromną liczbę tokenów, zwiększając koszt i latencję.
Brakuje wysokiej jakości par (np. audio-tekst) dla rzadszych modalności.
Wczesne łączenie wizji i języka: generowanie podpisów obrazów.
Wspólna przestrzeń osadzeń obrazu i tekstu uczona kontrastowo; przełom dla multimodalności.
Generatywna multimodalność: obraz z opisu tekstowego.
Model wizja-język zdolny do uczenia w kontekście na przeplatanych obrazach i tekście.
Powszechne udostępnienie rozumienia obrazów w dużym LLM.
Modele trenowane natywnie na tekście, obrazie, audio i wideo z niską latencją.
Złożoność czasowa: O(Σ_m C_m + F). Złożoność przestrzenna: O(Σ_m T_m · d).
Które modalności obsługiwane na wejściu i wyjściu.
Kiedy i jak łączone są modalności.
Natywnie multimodalny trening vs. doklejanie enkoderów do istniejącego LLM.
Większość multimodalnych transformerów jest gęsta; część dużych modeli stosuje MoE (mixture) dla efektywności.
Enkodery poszczególnych modalności można liczyć równolegle; wspólny szkielet Transformer to typowa równoległość treningu/inferencji.
Trening i inferencja ciężkich enkoderów wizji/wideo i dużych transformerów.
Duże modele multimodalne trenowane/serwowane na TPU (np. Gemini).
