Kimi K3

Kimi K3 to flagowy model firmy Moonshot AI wydany 16 lipca 2026 — Moonshot pozycjonuje go jako pierwszy na swiecie otwarty model klasy 3T. Rzadki (sparse) Mixture-of-Experts z 2.8 biliona lacznie parametrow, aktywujacy 16 z 896 ekspertow na token. Okno kontekstu do 1 miliona tokenow, natywna wielomodalnosc obejmujaca tekst, obraz i wideo. Model celuje w dlugoterminowe kodowanie, prace na wiedzy i rozumowanie. Dziewiec z ostatnich dwunastu miesiecy Kimi wyznaczal gorna granice rozmiaru modeli otwartych.

Sedno architektury to Kimi Delta Attention (KDA) — hybrydowy liniowy mechanizm uwagi zapewniajacy do 6.3x szybsze dekodowanie w kontekstach milionowych oraz Attention Residuals (AttnRes) dzialajacy wzdluz osi glebokosci, selektywnie pobierajacy reprezentacje przez warstwy zamiast akumulowac je jednorodnie. AttnRes daje okolo 25% wyzszej efektywnosci treningu przy mniej niz 2% dodatkowego kosztu. Rzadkosc realizuje Stable LatentMoE (16/896 aktywnych). Kluczowe komponenty routingu: Quantile Balancing (alokacja ekspertow bezposrednio z kwantylow router-score, eliminuje heurystyki i wrazliwy hyperparameter balansowania), Per-Head Muon (rozszerza Muon o niezalezna optymalizacje kazdej glowy uwagi), Sigmoid Tanh Unit (SiTU) i Gated MLA — lepsza kontrola aktywacji i selektywnosc uwagi.

Ulepszone przepisy treningu i danych daja razem okolo 2.5x lepsza efektywnosc skalowania niz Kimi K2. Kwantyzacja QAT (quantization-aware training) stosowana od etapu SFT. Wagi w MXFP4, aktywacje w MXFP8 dla szerokiej kompatybilnosci sprzetowej. Rekomendowana konfiguracja to supernode z 64 lub wiecej akceleratorami. Poniewaz KDA stwarza nowe wyzwania dla prefix caching, Moonshot wnioslo implementacje do vLLM. Model dziala rowniez w SGLang i llama.cpp.

Benchmarki (reasoning_effort=max, harness KimiCode/Claude Code/Codex): DeepSWE 67.5%, Program Bench 77.8%, Terminal Bench 2.1 88.3% (drugi po GPT-5.6 Sol z 88.8%), FrontierSWE 81.2%, SWE Marathon 42.0%, BrowseComp 91.2% (z context compaction @300K tokens), Automation Bench 30.8%, GPQA-Diamond 93.5%, HLE-Full 43.5%, MMMU-Pro 81.6%, OmniDocBench 91.1%. K3 prowadzi na Program Bench, SWE Marathon, BrowseComp, Automation Bench i OmniDocBench; ustepuje Claude Fable 5 na FrontierSWE i HLE-Full oraz GPT-5.6 Sol na DeepSWE. Moonshot otwarcie deklaruje, ze K3 trend za najmocniejszymi zamknietymi modelami (Fable 5, GPT-5.6 Sol), ale wsrod testowanych modeli otwartych konsekwentnie osiaga najlepsze wyniki.

Dostepnosc: kimi.com, Kimi Work, Kimi Code oraz API (base_url: api.moonshot.ai/v1, kompatybilne z OpenAI SDK). Cztery zasady API: reasoning_effort obsluguje tylko 'max' (parametr thinking z K2.x nie moze byc uzywany), temperature/top_p/n sa zafiksowane (pomijac), max_completion_tokens ma default 131 072 i siega 1 048 576, w multi-turn i tool calls nalezy zwracac kompletny assistant message. Pricing plaski (bez tieringu po dlugosci kontekstu): cache-hit input $0.30/MTok, cache-miss input $3.00/MTok, output $15.00/MTok. Moonshot raportuje cache-hit rate powyzej 90% w workloadach kodujacych. Przyklady zastosowan: engineering na skale repo (dlugie sesje, minimalny nadzor), vision-in-the-loop (iteracje kod<->live screenshots), reprodukcja badan naukowych (I-Love-Q relations: 20+ paperow, 3000+ linii Pythona), deep research reports (42-letnie studium ASIC: 2.8k+ fetches, 11k+ stron), parsowanie dokumentow (OmniDocBench 91.1). Moonshot AI jest wspierany przez Alibaba i Tencent.