1) Enkoder wizualny (ViT, CLIP, SigLIP, ConvNeXt) zamienia obraz na sekwencje patch tokens (zwykle 14x14 lub 28x28 patchy). 2) Projekcja (MLP lub Q-Former / Perceiver Resampler) mapuje tokens wizualne w przestrzen embeddingow LLM. 3) LLM (Transformer decoder) otrzymuje sekwencje: [SYSTEM] + [obraz patch tokens] + [USER prompt tekstowy]. 4) Podczas dekodowania LLM autoregresywnie generuje odpowiedz — opcjonalnie z wyprowadzonym chain-of-thought (thinking tokens) przed final answer. 5) Modele reasoning-optimized generuja dodatkowe visual grounding chain (np. „Let me look at the red region... [region marker] ... I see 3 spheres..."). 6) Modele z tool-use moga wywolac zewnetrzne funkcje (OCR, detektor, kalkulator, Python) w petli — wynik lokalnego narzedzia trafia do kontekstu i wplywa na kolejny krok. 7) Ostateczna odpowiedz — tekst, JSON, kod, bounding boxes.
Modele rozpoznawcze (klasyfikacja, detekcja, segmentacja) sa doskonale w mapowaniu obraz -> etykieta, ale nie potrafia wykonywac operacji wielokrokowych wymagajacych integracji percepcji z logika, planowaniem i wiedza swiata. Zapytanie „ile czerwonych kul wiekszych niz szescian po prawej stronie" wymaga: (1) detekcji obiektow, (2) klasyfikacji koloru i ksztaltu, (3) rozumowania przestrzennego, (4) porownania rozmiarow, (5) liczenia. Zadny pojedynczy klasyfikator nie zrobi tego z definicji. Visual reasoning jest wiec kluczowa kompetencja dla realistycznych zastosowan: robotyki, analizy dokumentow, medycyny obrazowej, asystentow multimodalnych, agentow desktop use.
Dlugosc chain-of-thought przed odpowiedzia. Krotszy = szybciej i taniej, dluzszy = wieksza dokladnosc na hard tasks. GPT-5.6 Sol/Kimi K3 obsluguja reasoning_effort=max; Gemini 3 Thinking automatycznie skaluje budzet do trudnosci.
Domyslnie 224x224 lub 336x336 tokens dla ViT. Modele high-res (Qwen2-VL, InternVL) obsluguja nawet 4K przez dynamic patching. Wyzsza rozdzielczosc = lepsze OCR i szczegoly, ale wieksze koszty (kwadratowo w liczbie tokenow).
Wlaczenie narzedzi (Python, OCR, search) radykalnie poprawia dokladnosc na tasks wymagajacych symbolic precision (matematyka, dokladne liczenie). Kosztuje latency i wymaga bezpiecznej sandboxu.
Modele wspierajace wiele obrazow (interleaved images/text, video frames) beda kluczowe dla temporal reasoning. Gemini 3 Pro do 3h wideo, Qwen2-VL do 20 min. Wymaga adekwatnego okna kontekstu (1M+ dla wideo).
Strukturalny prompt („Odpowiedz w JSON: {count: N, boxes: [...]}") daje wysoka dokladnosc dla downstream tasks. Free-form dziala lepiej dla otwartych wyjasnien i tutoringu.
Dla visual reasoning najczesciej greedy (temperature=0) lub bardzo niska temperatura. Wysoka temperatura powoduje hallucinacje regionow i liczby.
Wiekszosc VLM to dense transformer decoders + dense ViT encoder. Nowoczesne modele MoE (Kimi K3, DeepSeek VL2) uzywaja rzadkiej aktywacji dla LLM czesci, ale visual encoder pozostaje dense. Wszystkie warstwy sa aktywne per token.
Encoder wizualny w pelni rownolegly (klasyczne CNN/ViT forward pass). LLM decoding sekwencyjne (autoregressive) — kolejny token zalezy od poprzednich. Multi-image batch dziala rownolegle. Rownoleglosc miedzy urzadzeniami przez tensor/pipeline parallelism dla duzych VLM.
