Trening

Next Token Prediction (NTP)

2018AktywnyAktualizacja: 22 września 2026Opublikowany

Fundamentalny cel treningu modeli językowych: przewidywanie następnego tokena w sekwencji na podstawie poprzednich (modelowanie autoregresyjne).

Kluczowa innowacja

Uczynienie z prostego przewidywania następnego tokena skalowalnego, uniwersalnego celu treningu.

Kategoria

Trening

Poziom abstrakcji

Paradygmat

Poziom operacji

TreningInferencja

Zastosowania

Wstępny trening LLMGeneracja tekstuModelowanie autoregresyjne

Jak działa

Model przewiduje rozkład nad następnym tokenem; strata to entropia krzyżowa względem faktycznego następnego tokena w danych.

Potrzebny był skalowalny, samonadzorowany cel uczenia z nieoznakowanego tekstu.