Architektura

Next Concept Prediction (NCP)

2026BadawczyAktualizacja: 22 września 2026Opublikowany

Cel/architektura modelowania języka, w której model — obok następnego tokena — przewiduje też następny „koncept”, czyli wyuczoną reprezentację utajoną obejmującą kilka tokenów.

Kluczowa innowacja

Dodanie predykcji „konceptu” (reprezentacji utajonej wielu tokenów) obok predykcji tokena.

Kategoria

Architektura

Poziom abstrakcji

Paradygmat

Poziom operacji

TreningModel

Zastosowania

Modele językowe latentoweRozumowanie i planowanieWstępny trening LLM

Jak działa

Model uczy się przewidywać następny skwantyzowany koncept (reprezentację utajoną kilku tokenów), który steruje dekoderem generującym kolejne tokeny.

Rozwiązany problem

Przewidywanie wyłącznie następnego tokena ogranicza planowanie na dłuższym horyzoncie i abstrakcyjne rozumowanie.

Źródła

Next Concept Prediction (arXiv:2609.10715)