Visual Reasoning

2015AktywnyOpublikowano: 3 maja 2015Aktualizacja: 17 lipca 2026Opublikowany

Visual Reasoning to zdolnosc modeli AI (glownie Vision-Language Models i multimodal LLM) do rozwiazywania problemow wymagajacych rozumowania wielokrokowego na podstawie tresci wizualnej — liczenie obiektow, relacje przestrzenne, uklady logiczne, wnioskowanie geometryczne, analiza diagramow i wykresow, rozumienie zdarzen na obrazie. Wykracza poza czysta rozpoznawaczosc (klasyfikacja, detekcja) i wymaga kompozycyjnej interpretacji sceny.

Kluczowa innowacja

Przeniesienie rozumowania wielokrokowego z domeny wylacznie jezykowej (chain-of-thought w LLM) do domeny multimodalnej z zachowaniem sily reasoning. Nowoczesne VLM (od Flamingo/LLaVA/GPT-4V) uczyly sie rownolegle: (1) alignowac przestrzen embeddingow wizualnych i jezykowych (przez CLIP-like contrastive learning + instruction tuning), (2) wykonywac chain-of-thought z odwolaniami do regionow obrazu, (3) wywolywac narzedzia (detektory, OCR, kod) gdy trzeba precyzyjnego symbolic reasoning. Wynik: jeden model potrafi rozwiazac problem wymagajacy percepcji + logiki + wiedzy + planowania, dostepny przez proste API.

Kategoria

Poziom abstrakcji

Wzorzec

Poziom operacji

ModelSystemAplikacjaInferencja

Zastosowania

Multimodal chat assistants (ChatGPT, Claude, Gemini) — pytania o wgrany obraz/dokument/zrzut ekranuAnaliza dokumentow — OCR + zrozumienie tabel, formularzy, kontraktow, fakturInterpretacja diagramow i wykresow — ChartQA, extraction danych z wizualizacji naukowychRobotyka i embodied AI — grounding jezyka na scenach ("podaj mi czerwony kubek na lewej polce"), planning zadan manipulacyjnychUI/desktop agents — Claude Computer Use, GPT Operator, Anthropic Claude Skills wykorzystuja visual reasoning do klikania w interfejsachMedycyna obrazowa — analiza RTG, CT, MRI, histopatologii (Med-PaLM M, MedGemini)Autonomiczne pojazdy — rozumienie sceny drogowej, prognozowanie ruchu innych uczestnikow (Waymo, Tesla FSD)Edukacja — rozwiazywanie zadan matematycznych z obrazami (MathVista), tutoring wizualny (Khan Academy Khanmigo)Content moderation — rozumienie kontekstu wizualnego dla treningu safety classifiersAccessibility — opisy obrazow dla osob niewidomych (Be My Eyes + GPT-4V)

Jak działa

1) Enkoder wizualny (ViT, CLIP, SigLIP, ConvNeXt) zamienia obraz na sekwencje patch tokens (zwykle 14x14 lub 28x28 patchy). 2) Projekcja (MLP lub Q-Former / Perceiver Resampler) mapuje tokens wizualne w przestrzen embeddingow LLM. 3) LLM (Transformer decoder) otrzymuje sekwencje: [SYSTEM] + [obraz patch tokens] + [USER prompt tekstowy]. 4) Podczas dekodowania LLM autoregresywnie generuje odpowiedz — opcjonalnie z wyprowadzonym chain-of-thought (thinking tokens) przed final answer. 5) Modele reasoning-optimized generuja dodatkowe visual grounding chain (np. „Let me look at the red region... [region marker] ... I see 3 spheres..."). 6) Modele z tool-use moga wywolac zewnetrzne funkcje (OCR, detektor, kalkulator, Python) w petli — wynik lokalnego narzedzia trafia do kontekstu i wplywa na kolejny krok. 7) Ostateczna odpowiedz — tekst, JSON, kod, bounding boxes.

Rozwiązany problem

Modele rozpoznawcze (klasyfikacja, detekcja, segmentacja) sa doskonale w mapowaniu obraz -> etykieta, ale nie potrafia wykonywac operacji wielokrokowych wymagajacych integracji percepcji z logika, planowaniem i wiedza swiata. Zapytanie „ile czerwonych kul wiekszych niz szescian po prawej stronie" wymaga: (1) detekcji obiektow, (2) klasyfikacji koloru i ksztaltu, (3) rozumowania przestrzennego, (4) porownania rozmiarow, (5) liczenia. Zadny pojedynczy klasyfikator nie zrobi tego z definicji. Visual reasoning jest wiec kluczowa kompetencja dla realistycznych zastosowan: robotyki, analizy dokumentow, medycyny obrazowej, asystentow multimodalnych, agentow desktop use.

Komponenty

Visual encoder (ViT / CLIP / SigLIP)Zamienia obraz na sekwencje wektorow (patch tokens). Powszechnie Vision Transformer wytrenowany kontrastowo (CLIP) lub sigmoidalnie (SigLIP) na miliardach par obraz-tekst z Internetu.

Projektor / adapter (MLP, Q-Former, Perceiver Resampler)Mapuje embeddingi wizualne z wymiaru enkodera do wymiaru LLM. Q-Former (BLIP-2) i Perceiver Resampler (Flamingo) dodatkowo redukuja liczbe tokenow (learnable query tokens).

LLM decoder (Transformer)Generuje odpowiedz autoregresywnie na podstawie sklejonej sekwencji [obraz + tekst]. Zwykle preinstruowany LLM (Llama, Qwen, GPT) fine-tunowany na visual instruction data (LLaVA-instruct, ShareGPT-4V).

Chain-of-thought / thinking budgetMechanizm reasoning-time compute: model generuje sekwencje myslowa (thinking tokens) przed odpowiedzia. Modele o kontrolowanym reasoning effort (Gemini Thinking, Kimi K3, GPT-5.6 Sol z reasoning_effort=max) znaczaco poprawiaja visual reasoning kosztem latency.

Tool use / function callingModel moze wywolac wyspecjalizowane narzedzia dla precyzyjnego symbolic reasoning: OCR (dla tekstu), detektor obiektow (dla precyzyjnego liczenia), Python (dla oblicezn), search (dla wiedzy zewnetrznej). Kluczowe dla dokladnosci na tasks wymagajacych symbolic precision.

Grounding annotations (bounding boxes, points, masks)Wyjscie strukturalne wiazace tekstowe wnioski z regionami obrazu. Standardowe formaty: bounding boxy [x1,y1,x2,y2], punkty (x,y), Set-of-Mark (numerowane regiony), scene graph. Uzywane w robotyce, dokumentach, UI agent workflows.

Implementacja

Implementacje referencyjne

LLaVA (Large Language and Vision Assistant)

Qwen2.5-VL (Alibaba)

InternVL (Shanghai AI Lab)

VisProg (Compositional Visual Reasoning by Programming)

Pułapki implementacyjne

Krytyczna

Rozwiązanie:VLM czasem „widza" rzeczy ktorych na obrazie nie ma — szczegolnie gdy prompt sugeruje ich obecnosc (leading questions). Mitigacja: neutralne prompty, verify via tool use (call detector), grounding chain z bounding boxami, testowanie na benchmark POPE (Polling-based Object Probing Evaluation).

Wysoka

Rozwiązanie:Wiele modeli „rozwiazuje" hard visual reasoning tasks przez pattern matching do training data zamiast faktycznego rozumowania. VERIFY benchmark (2025) i MMMU-Pro sa specjalnie zaprojektowane by wykryc te skroty. Uzywac contrast sets, held-out compositional test sets.

Wysoka

Rozwiązanie:VLM sa slabe w dokladnym liczeniu (>10 obiektow), pomiarach geometrycznych, kacie i dlugosci. Delegowac do zewnetrznych narzedzi (SAM detector + counter, symbolic geometry via Python). Nowoczesne modele reasoning-optimized (Kimi K3) mocno redukuja ten problem.

Wysoka

Rozwiązanie:Zmiana slownictwa w pytaniu drastycznie zmienia odpowiedz. Model moze poprawnie zliczyc 5 psow gdy pyta o „psy" ale nie o „cztero-nozne zwierzeta". Mitigacja: prompt ensembling, self-consistency (kilkakrotne pytania z parafrazami), tool use.

Średnia

Rozwiązanie:Model moze zwracac bounding boxy w roznych formatach (znormalizowane 0-1, absolute pixels, [x,y,w,h] vs [x1,y1,x2,y2], YOLO format). Wymuszac schema via structured output APIs (OpenAI/Anthropic response_format, JSON schema), walidowac Pydantic.

Średnia

Rozwiązanie:Full 1080p 30fps video z 1 minuta = ~50k tokens obrazowych za sam encoder. Optymalizacje: frame subsampling, spatial downscaling do task-relevant regions, keyframe extraction, uzycie mniejszego VLM do wstepnej selekcji regionow.

Ewolucja

Oryginalny paper · 2015 · ICCV 2015

VQA: Visual Question Answering

2015

2016

2019

2021

2022

2023

2024

2025

2026

Hiperparametry (konfigurowalne osie)

Reasoning effort / thinking budgetKrytyczna

Dlugosc chain-of-thought przed odpowiedzia. Krotszy = szybciej i taniej, dluzszy = wieksza dokladnosc na hard tasks. GPT-5.6 Sol/Kimi K3 obsluguja reasoning_effort=max; Gemini 3 Thinking automatycznie skaluje budzet do trudnosci.

Rozdzielczosc wejsciowa obrazuWysoka

Domyslnie 224x224 lub 336x336 tokens dla ViT. Modele high-res (Qwen2-VL, InternVL) obsluguja nawet 4K przez dynamic patching. Wyzsza rozdzielczosc = lepsze OCR i szczegoly, ale wieksze koszty (kwadratowo w liczbie tokenow).

Tool use enabledWysoka

Wlaczenie narzedzi (Python, OCR, search) radykalnie poprawia dokladnosc na tasks wymagajacych symbolic precision (matematyka, dokladne liczenie). Kosztuje latency i wymaga bezpiecznej sandboxu.

Multi-image / video contextŚrednia

Modele wspierajace wiele obrazow (interleaved images/text, video frames) beda kluczowe dla temporal reasoning. Gemini 3 Pro do 3h wideo, Qwen2-VL do 20 min. Wymaga adekwatnego okna kontekstu (1M+ dla wideo).

Prompt structure (structured vs free-form)Średnia

Strukturalny prompt („Odpowiedz w JSON: {count: N, boxes: [...]}") daje wysoka dokladnosc dla downstream tasks. Free-form dziala lepiej dla otwartych wyjasnien i tutoringu.

Temperature / samplingNiska

Dla visual reasoning najczesciej greedy (temperature=0) lub bardzo niska temperatura. Wysoka temperatura powoduje hallucinacje regionow i liczby.

Paradygmat wykonania

Tryb główny

Gęsty

Wiekszosc VLM to dense transformer decoders + dense ViT encoder. Nowoczesne modele MoE (Kimi K3, DeepSeek VL2) uzywaja rzadkiej aktywacji dla LLM czesci, ale visual encoder pozostaje dense. Wszystkie warstwy sa aktywne per token.

Wzorzec aktywacji

Wszystkie ścieżki aktywne

Równoległość

Poziom równoległości

Częściowo równoległy

Encoder wizualny w pelni rownolegly (klasyczne CNN/ViT forward pass). LLM decoding sekwencyjne (autoregressive) — kolejny token zalezy od poprzednich. Multi-image batch dziala rownolegle. Rownoleglosc miedzy urzadzeniami przez tensor/pipeline parallelism dla duzych VLM.

Zakres

InferencjaPomiędzy urządzeniami