Architektura
Next Concept Prediction (NCP)
2026BadawczyAktualizacja: 22 września 2026Opublikowany
Cel/architektura modelowania języka, w której model — obok następnego tokena — przewiduje też następny „koncept”, czyli wyuczoną reprezentację utajoną obejmującą kilka tokenów.
Kluczowa
innowacja
Dodanie predykcji „konceptu” (reprezentacji utajonej wielu tokenów) obok predykcji tokena.
Kategoria
Architektura
Poziom abstrakcji
Paradygmat
Poziom operacji
TreningModel
Zastosowania
Modele językowe latentoweRozumowanie i planowanieWstępny trening LLM
Jak działa
Model uczy się przewidywać następny skwantyzowany koncept (reprezentację utajoną kilku tokenów), który steruje dekoderem generującym kolejne tokeny.
Rozwiązany problem
Przewidywanie wyłącznie następnego tokena ogranicza planowanie na dłuższym horyzoncie i abstrakcyjne rozumowanie.