Trening
Next Token Prediction (NTP)
2018AktywnyAktualizacja: 22 września 2026Opublikowany
Fundamentalny cel treningu modeli językowych: przewidywanie następnego tokena w sekwencji na podstawie poprzednich (modelowanie autoregresyjne).
Kluczowa
innowacja
Uczynienie z prostego przewidywania następnego tokena skalowalnego, uniwersalnego celu treningu.
Kategoria
Trening
Poziom abstrakcji
Paradygmat
Poziom operacji
TreningInferencja
Zastosowania
Wstępny trening LLMGeneracja tekstuModelowanie autoregresyjne
Jak działa
Model przewiduje rozkład nad następnym tokenem; strata to entropia krzyżowa względem faktycznego następnego tokena w danych.
Rozwiązany problem
Potrzebny był skalowalny, samonadzorowany cel uczenia z nieoznakowanego tekstu.