Mixtral 8x22B

Mixtral 8x22B to otwarty model językowy typu rzadkiej mieszaniny ekspertów (Sparse Mixture-of-Experts, SMoE) opracowany przez Mistral AI i udostępniony 17 kwietnia 2024 r. Ma 141 miliardów parametrów łącznie, z czego przy każdym tokenie aktywowanych jest jedynie 39 miliardów, co zapewnia znacznie szybszą inferencję niż w gęstych modelach o podobnej jakości.

Model obsługuje okno kontekstowe o długości 64K tokenów oraz jest natywnie wielojęzyczny — biegły w języku angielskim, francuskim, włoskim, niemieckim i hiszpańskim. Wyróżnia się mocnymi zdolnościami matematycznymi i programistycznymi, a także natywną obsługą wywoływania funkcji (function calling).

Mixtral 8x22B został udostępniony na licencji Apache 2.0 — jednej z najbardziej liberalnych licencji open source — z wagami do pobrania oraz dostępem przez platformę la Plateforme (konsolę Mistral AI). Można go zatem uruchamiać zarówno lokalnie, jak i w chmurze.

W testach wersja instruowana osiąga 90,8% na GSM8K (8-shot) oraz 44,6% na benchmarku MATH (maj@4). Model przewyższa LLaMA 2 70B na benchmarkach wielojęzycznych (francuski, niemiecki, hiszpański, włoski) i osiąga czołowe wyniki w zadaniach programistycznych (HumanEval, MBPP).