Inkling

Inkling to open-weights model bazowy Thinking Machines Lab (TML) ogłoszony 15 lipca 2026. To pierwszy model wytrenowany od zera przez laboratorium założone przez Mirę Murati (byłą CTO OpenAI). Architektura Mixture-of-Experts Transformer: 975 mld parametrów łącznie, 41 mld aktywnych na token, okno kontekstu do 1 mln tokenów. Wstępny pretraining na 45 bilionach tokenów tekstu, obrazów, dźwięku i wideo.

Model wspiera regulowany wysiłek myślenia (controllable thinking effort) — deweloper może przesuwać kompromis między jakością a liczbą tokenów. TML pokazuje, że Inkling osiąga wynik na Terminal Bench 2.1 zbliżony do Nemotron 3 Ultra przy około jednej trzeciej wygenerowanych tokenów. Wejścia natywnie multimodalne: tekst, obraz (patche 40×40 przez czterowarstwowy hMLP) oraz dźwięk (dyskretne dMel spektrogramy). Wyjście tekstowe i kodu.

Architektura MoE opiera się na DeepSeek-V3: 256 ekspertów routowanych + 2 eksperty współdzielone na warstwie, 6 aktywnych na token, router z funkcją sigmoid i biasem load-balancing bez straty pomocniczej. W uwadze zastosowano naprzemienne warstwy sliding-window i globalne w stosunku 5:1, osiem głowic KV, bias pozycyjny zależny od wejścia (nie RoPE) oraz krótkie konwolucje po projekcjach klucza/wartości. Post-training obejmował SFT bootstrap na danych syntetycznych z Kimi K2.5 oraz asynchroniczny RL na skalę ponad 30 mln rolloutów. Trenowany na systemach NVIDIA GB300 NVL72. Optymalizator hybrydowy — Muon dla dużych macierzy, Adam dla pozostałych parametrów.

Wyniki benchmarków (przy effort 0.99): HLE 29.7% (tekst) i 46.0% (z narzędziami), AIME 2026 97.1%, GPQA Diamond 87.2%, SWE-Bench Verified 77.6%, SWE-Bench Pro Public 54.3%, Terminal Bench 2.1 63.8%, GDPVal-AA v2 1238 Elo, MCP Atlas 74.1%, Tau 3 Banking 23.7%, BrowseComp 77.1%, SimpleQA Verified 43.9%, IFBench 79.8%, Global-MMLU-Lite 88.7%, MMMU Pro 73.5%, Audio MC 56.6%, MMAU 77.2%, VoiceBench 91.4%, FORTRESS Adversarial 78.0%, StrongREJECT 98.6%. Na Design Arena Agentic Web Dev (blinded human eval) 1257 pkt — jedno z najsilniejszych open-weights.

Dostępność — pełne wagi na Hugging Face (checkpoint oryginalny oraz NVFP4 dla NVIDIA Blackwell) pod repo thinkingmachines/inkling. Fine-tuning na platformie Tinker TML (opcje kontekstu 64K i 256K). Inference przez API u partnerów: Together, Fireworks, Modal, Databricks, Baseten. Otwarte wsparcie w SGLang, Miles, vLLM, TokenSpeed, llama.cpp oraz Hugging Face Transformers. Równolegle TML zapowiedział preview Inkling-Small — mniejszego wariantu MoE 276 mld parametrów łącznie, 12 mld aktywnych, dorównującego większemu bratowi na wielu benchmarkach po ulepszeniach danych pretreningowych.