DeepSeek-V4.1-Flash

DeepSeek-V4.1-Flash to multimodalny model językowy typu Mixture-of-Experts opracowany przez DeepSeek-AI i udostępniony na licencji MIT. Model liczy 552 mld parametrów w rdzeniu, z których aktywnych jest tylko 8 mld na token w fazie prefill i 16 mld w fazie dekodowania. Wykorzystuje nowatorską architekturę Causal Encoder-Decoder (CED) — 40-warstwowy Transformer złożony z 20-warstwowego enkodera i 20-warstwowego dekodera, z 1 wspólnym ekspertem i 384 ekspertami routowanymi na warstwę MoE (6 aktywowanych na token).

Model obsługuje okno kontekstowe do 1 miliona tokenów, przetwarza wejście tekstowe i obrazowe oraz generuje tekst. Do kluczowych innowacji należą: mechanizm Compressed Sparse Attention 2 (CSA2) z cache'owaniem KV w FP4, technika SWA Bounded Replay redukująca rozmiar cache KV do ok. 1/8 poprzednika, dekodowanie spekulatywne (DSpark) oraz płynnie sterowalny wysiłek rozumowania (skala 1–100). Model trenowano na korpusie 45 bln tokenów.