Robocikowo>ROBOCIKOWO
Trening

Intermediate Checkpoint

2023AktywnyAktualizacja: 17 listopada 2026Opublikowany
Checkpoint pośredni to zapisany w trakcie treningu snapshot stanu modelu (wagi, a często też stan optymalizatora i trening), utrwalony przed zakończeniem uczenia — służy do wznowienia, ewaluacji, rollbacku i badania dynamiki uczenia.
Kluczowa innowacja
Potraktowanie częściowo wytrenowanego stanu modelu — zapisanego w trakcie treningu, a nie dopiero na jego końcu — jako pełnoprawnego artefaktu do wznowienia, ewaluacji, analizy dynamiki uczenia i publikacji.
Kategoria
Trening
Poziom abstrakcji
Pojęcie
Poziom operacji
TreningUdostępnianieEwaluacja (runtime)
Zastosowania
Wznawianie treningu po awarii (fault tolerance)Rollback do stabilnego stanu po skoku stratyEwaluacja postępu i wczesne zatrzymanieBadanie dynamiki uczenia (np. emergencja zdolności, prawa skalowania)Publikacja otwartych serii checkpointów do badań (Pythia, OLMo)

Jak działa

W wybranych momentach treningu (co N kroków lub co określony czas) proces zapisuje stan do trwałego magazynu. Pełny checkpoint obejmuje: wagi modelu, stan optymalizatora (dla Adama ok. 2× liczby parametrów na momenty), stan harmonogramu uczenia, ziarna/generatory losowe oraz metadane (krok, metryki). Przy wznowieniu te elementy są wczytywane, a trening jest kontynuowany tak, jakby nie było przerwy. W dużej skali stosuje się checkpointing rozproszony: stan jest shardowany między równoległymi procesami (data/tensor/pipeline parallel) i zapisywany równolegle, często asynchronicznie, by nie blokować obliczeń. Polityka retencji decyduje, ile checkpointów zachować (np. ostatnie K plus wybrane „kamienie milowe"), bo każdy zajmuje wielokrotność rozmiaru modelu. Do publikacji lub inferencji często eksportuje się sam zestaw wag (bez stanu optymalizatora), w formacie takim jak safetensors.

Rozwiązany problem

Długi trening dużych modeli jest zawodny i kosztowny: sprzęt pada, strata potrafi się zdestabilizować, a końcowy model nie wyjaśnia, jak powstawał. Checkpointy pośrednie rozwiązują to, utrwalając stan w trakcie treningu — umożliwiają wznowienie bez utraty tygodni obliczeń, rollback do stabilnego stanu, ewaluację postępu oraz naukową analizę dynamiki uczenia na podstawie serii snapshotów.

Komponenty

Snapshot wag modeluRdzeń artefaktu; wystarcza do inferencji i publikacji.

Wartości parametrów modelu w danym kroku — minimalny i zawsze obecny składnik każdego checkpointu.

Stan optymalizatoraUmożliwia wznowienie bez resetu dynamiki optymalizacji.

Statystyki optymalizatora (np. pierwszy i drugi moment w Adamie), zajmujące zwykle ok. 2× liczby parametrów; niezbędne do bezszwowego wznowienia treningu.

Oficjalna

Stan treningu i generatorów losowychZapewnia ciągłość i powtarzalność przebiegu treningu.

Numer kroku, stan harmonogramu learning rate, pozycja w danych i ziarna generatorów losowych — potrzebne do deterministycznego wznowienia.

Oficjalna

Metadane checkpointuPozwala wybierać i porównywać checkpointy w serii.

Krok/epoka, metryki (strata, ewaluacje), wersja kodu i konfiguracja — identyfikują i opisują dany snapshot w serii.

Oficjalna

Format serializacjiWarstwa trwałości; wpływa na koszt zapisu i przenośność.

Sposób zapisu na dysk/obiekt (np. safetensors dla wag, formaty checkpointu rozproszonego dla pełnego stanu), decydujący o bezpieczeństwie i prędkości I/O.

Oficjalna

Implementacja

Pułapki implementacyjne
Niekompletny checkpoint uniemożliwia wznowienieWysoka

Zapis samych wag bez stanu optymalizatora, harmonogramu i RNG uniemożliwia bezszwowe, deterministyczne wznowienie treningu.

Rozwiązanie:Dla checkpointów operacyjnych zapisywać pełny stan; wersję weights-only trzymać osobno, do publikacji i inferencji.
Uszkodzony checkpoint przy zapisie częściowymŚrednia

Awaria w trakcie zapisu (zwłaszcza rozproszonego) może zostawić niespójny, nieczytelny checkpoint.

Rozwiązanie:Stosować zapis atomowy (najpierw plik tymczasowy, potem rename), sumy kontrolne i weryfikację po zapisie.

Ewolucja

Oryginalny paper · 2023 · ICML 2023 · Stella Biderman
Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling
Stella Biderman, Hailey Schoelkopf
2022
Logbook i checkpointy OPT-175B

Meta udostępnia OPT wraz z dziennikiem treningu i checkpointami, pokazując praktykę zapisywania stanu wielkich modeli w trakcie uczenia.

2023
Pythia — checkpointy pośrednie jako narzędzie badawcze
Punkt przełomowy

Pythia publikuje 154 checkpointy pośrednie na model, czyniąc dynamikę treningu i skalowanie przedmiotem systematycznych badań.

2024
OLMo — pełna otwartość checkpointów

OLMo udostępnia kod, dane i serię checkpointów pośrednich, wzmacniając odtwarzalność badań nad modelami językowymi.

Hiperparametry (konfigurowalne osie)

Częstotliwość zapisuWysoka

Co ile kroków lub minut zapisywany jest checkpoint; kompromis między kosztem I/O a ilością utraconych obliczeń przy awarii.

co 1000 krokówTypowy kompromis dla dużych treningów.
co 1–2 h czasu rzeczywistegoPolityka oparta na czasie dla odporności na awarie.
Liczba zachowywanych checkpointówWysoka

Ile checkpointów przechowywać jednocześnie (np. ostatnie K plus wybrane kamienie milowe); kontroluje zużycie magazynu.

ostatnie 3Minimalna retencja operacyjna.
154 (Pythia)Pełna seria do badań dynamiki treningu.
Zakres zapisywanego stanuWysoka

Czy zapisywać tylko wagi (do inferencji/publikacji), czy pełny stan (wagi + optymalizator + trening) umożliwiający wznowienie.

weights-onlyMały rozmiar, do publikacji i inferencji.
full stateWiększy rozmiar, do bezszwowego wznowienia.
Strategia shardowaniaŚrednia

Jak stan jest dzielony między procesy równoległe przy zapisie rozproszonym (data/tensor/pipeline parallel).

sharded (DCP)Każdy proces zapisuje swój fragment stanu.
Zapis asynchronicznyŚrednia

Czy zapis odbywa się w tle, nakładając I/O na dalsze obliczenia, by zminimalizować przestój treningu.

enabledSkraca przestój przy częstym checkpointingu.

Złożoność obliczeniowa

Złożoność czasowa: O(S). Złożoność przestrzenna: O(N · S).

Równoległość

Poziom równoległości
Częściowo równoległy

Checkpointing rozproszony shardowuje stan między procesami równoległymi i zapisuje go równolegle, często asynchronicznie, by nie blokować treningu.

Zakres
TreningPomiędzy urządzeniami
Ograniczenia
!Przy treningu rozproszonym procesy zwykle muszą zsynchronizować się (bariera) w momencie zapisu spójnego checkpointu.
!Równoległy zapis shardów jest ograniczony przepustowością sieci/magazynu obiektowego.

Wymagania sprzętowe

Podstawowe

Checkpointing to operacja I/O niezależna od typu akceleratora; o wydajności decyduje przepustowość magazynu i sieci, nie rodzaj jednostki obliczeniowej.