nanochat

nanochat to minimalny, otwartoźródłowy (licencja MIT) framework treningowy autorstwa Andreja Karpathy'ego, który pozwala wytrenować własny model językowy w stylu ChatGPT „od zera” na pojedynczym węźle GPU. Kod obejmuje wszystkie etapy: trening tokenizera (BPE w stylu GPT-4), pretrening modelu bazowego, dostrajanie nadzorowane (SFT), opcjonalny reinforcement learning oraz wnioskowanie przez interfejs CLI i webowy interfejs czatu.

Repozytorium jest jednocześnie kodem treningowym i przepisem na konkretny model wynikowy. Referencyjny „speedrun” trenuje model d20 (głębokość 20 warstw, ok. 561 mln parametrów, wymiar modelu 1280, 10 głów uwagi, długość kontekstu 1024 tokeny, słownik 65 536 tokenów) na ok. 11,2 mld tokenów w około 4 godziny na węźle 8×H100, za koszt rzędu ok. $100. Model osiąga zdolności porównywalne z GPT-2 (wynik CORE ok. 0,22 dla wersji bazowej).

Złożoność modelu sterowana jest jednym parametrem `--depth`; pozostałe hiperparametry dobierane są automatycznie w sposób compute-optimal. nanochat wykorzystuje architekturę transformera z optymalizatorem AdamW + Muon, silnik wnioskowania z KV-cache oraz wykonywanie kodu Pythona jako narzędzie. Projekt utrzymuje leaderboard „time-to-GPT-2” mierzony metryką DCLM CORE.