Pixtral 12B

Pixtral 12B to otwarty, natywnie multimodalny model wizyjno-językowy (VLM) opracowany przez Mistral AI i udostępniony 17 września 2024 r. na licencji Apache 2.0. Łączy dekoder multimodalny o 12 miliardach parametrów (oparty na Mistral NeMo) z wytrenowanym od zera enkoderem wizyjnym o 400 milionach parametrów.

Model został wytrenowany na przeplatanych danych obraz–tekst, dzięki czemu rozumie zarówno naturalne obrazy, jak i dokumenty: analizuje wykresy i rysunki, odpowiada na pytania o dokumenty (DocVQA), prowadzi wnioskowanie multimodalne i wykonuje instrukcje. Obsługuje okno kontekstowe 128K tokenów oraz obrazy o zmiennej wielkości i proporcjach w natywnej rozdzielczości, a także wiele obrazów naraz.

Pixtral 12B jest dostępny z otwartymi wagami na Hugging Face (Apache 2.0), lokalnie przez mistral-inference lub vLLM, a także w Le Chat i przez API na platformie Mistral (la Plateforme).

W benchmarkach multimodalnych Pixtral 12B osiąga m.in.: MMMU 52,5%, MathVista 58,0%, ChartQA 81,8%, DocVQA 90,7% oraz VQAv2 78,6%. Model został z czasem oznaczony jako przestarzały (deprecated) — Mistral zastąpił go nowszymi modelami wizyjnymi.