Intermediate Checkpoint
Jak działa
W wybranych momentach treningu (co N kroków lub co określony czas) proces zapisuje stan do trwałego magazynu. Pełny checkpoint obejmuje: wagi modelu, stan optymalizatora (dla Adama ok. 2× liczby parametrów na momenty), stan harmonogramu uczenia, ziarna/generatory losowe oraz metadane (krok, metryki). Przy wznowieniu te elementy są wczytywane, a trening jest kontynuowany tak, jakby nie było przerwy. W dużej skali stosuje się checkpointing rozproszony: stan jest shardowany między równoległymi procesami (data/tensor/pipeline parallel) i zapisywany równolegle, często asynchronicznie, by nie blokować obliczeń. Polityka retencji decyduje, ile checkpointów zachować (np. ostatnie K plus wybrane „kamienie milowe"), bo każdy zajmuje wielokrotność rozmiaru modelu. Do publikacji lub inferencji często eksportuje się sam zestaw wag (bez stanu optymalizatora), w formacie takim jak safetensors.
Rozwiązany problem
Długi trening dużych modeli jest zawodny i kosztowny: sprzęt pada, strata potrafi się zdestabilizować, a końcowy model nie wyjaśnia, jak powstawał. Checkpointy pośrednie rozwiązują to, utrwalając stan w trakcie treningu — umożliwiają wznowienie bez utraty tygodni obliczeń, rollback do stabilnego stanu, ewaluację postępu oraz naukową analizę dynamiki uczenia na podstawie serii snapshotów.
Komponenty
Wartości parametrów modelu w danym kroku — minimalny i zawsze obecny składnik każdego checkpointu.
Statystyki optymalizatora (np. pierwszy i drugi moment w Adamie), zajmujące zwykle ok. 2× liczby parametrów; niezbędne do bezszwowego wznowienia treningu.
Oficjalna
Numer kroku, stan harmonogramu learning rate, pozycja w danych i ziarna generatorów losowych — potrzebne do deterministycznego wznowienia.
Oficjalna
Krok/epoka, metryki (strata, ewaluacje), wersja kodu i konfiguracja — identyfikują i opisują dany snapshot w serii.
Oficjalna
Sposób zapisu na dysk/obiekt (np. safetensors dla wag, formaty checkpointu rozproszonego dla pełnego stanu), decydujący o bezpieczeństwie i prędkości I/O.
Oficjalna
Implementacja
Zapis samych wag bez stanu optymalizatora, harmonogramu i RNG uniemożliwia bezszwowe, deterministyczne wznowienie treningu.
Awaria w trakcie zapisu (zwłaszcza rozproszonego) może zostawić niespójny, nieczytelny checkpoint.
Ewolucja
Meta udostępnia OPT wraz z dziennikiem treningu i checkpointami, pokazując praktykę zapisywania stanu wielkich modeli w trakcie uczenia.
Pythia publikuje 154 checkpointy pośrednie na model, czyniąc dynamikę treningu i skalowanie przedmiotem systematycznych badań.
OLMo udostępnia kod, dane i serię checkpointów pośrednich, wzmacniając odtwarzalność badań nad modelami językowymi.
Hiperparametry (konfigurowalne osie)
Co ile kroków lub minut zapisywany jest checkpoint; kompromis między kosztem I/O a ilością utraconych obliczeń przy awarii.
Ile checkpointów przechowywać jednocześnie (np. ostatnie K plus wybrane kamienie milowe); kontroluje zużycie magazynu.
Czy zapisywać tylko wagi (do inferencji/publikacji), czy pełny stan (wagi + optymalizator + trening) umożliwiający wznowienie.
Jak stan jest dzielony między procesy równoległe przy zapisie rozproszonym (data/tensor/pipeline parallel).
Czy zapis odbywa się w tle, nakładając I/O na dalsze obliczenia, by zminimalizować przestój treningu.
Złożoność obliczeniowa
Złożoność czasowa: O(S). Złożoność przestrzenna: O(N · S).
Równoległość
Checkpointing rozproszony shardowuje stan między procesami równoległymi i zapisuje go równolegle, często asynchronicznie, by nie blokować treningu.
Wymagania sprzętowe
Checkpointing to operacja I/O niezależna od typu akceleratora; o wydajności decyduje przepustowość magazynu i sieci, nie rodzaj jednostki obliczeniowej.