Obsługa wielu formatów danych
Vision-Language Model (VLM)
Model multimodalny łączący rozumienie obrazu i języka naturalnego — przyjmuje obraz (i tekst) na wejściu i generuje tekstowe odpowiedzi, opisy czy odpowiedzi na pytania o obraz.
Kategoria
Obsługa wielu formatów danych
Poziom abstrakcji
Paradygmat
Poziom operacji
ModelInferencja
Zastosowania
Opisywanie obrazów i odpowiadanie na pytania wizualne (VQA)Multimodalni asystenci AIAnaliza dokumentów i wykresówPercepcja w robotyce (baza dla modeli VLA)
Jak działa
Enkoder wizyjny koduje obraz do wektorów cech, które moduł projekcji odwzorowuje do przestrzeni modelu językowego; LLM przetwarza połączone cechy wizualne i tekst, generując odpowiedź. Trening wykorzystuje duże zbiory par obraz–tekst.
Rozwiązany problem
Jak zbudować model, który jednocześnie rozumie obraz i język oraz potrafi o obrazie rozmawiać i wnioskować?
Mocne strony i ograniczenia
Mocne strony
✓Łączy percepcję wizualną z rozumowaniem językowym
✓Wszechstronność (wiele zadań multimodalnych)
✓Baza dla agentów i robotów działających w świecie fizycznym
Ograniczenia
✗Halucynacje przy opisie obrazów
✗Ograniczenia w precyzyjnej lokalizacji i liczeniu obiektów
✗Wysokie koszty treningu multimodalnego