NCP-ArchPreview

NCP-ArchPreview to model językowy o 8,94 mld parametrów opracowany przez Shanghai AI Lab i LUMIA Lab (Shanghai Jiao Tong University). Wykracza poza klasyczne przewidywanie następnego tokena (Next Token Prediction), wprowadzając „Next Concept Prediction” (NCP) — obok tokena model przewiduje też następny „koncept”, czyli wyuczoną reprezentację utajoną obejmującą średnio ok. cztery tokeny.

Architektura ma trzy moduły: Token Encoder (16 warstw) przetwarzający tekst wejściowy, Concept Module (8 warstw) przewidujący kolejne koncepty za pomocą kwantyzacji produktowej z 32 książkami kodów, oraz Token Decoder (16 warstw) generujący rozkład tokenów na podstawie predykcji konceptów. Rezydualne połączenia między modułami przepuszczają informację przy zachowaniu przyczynowości; generacja zachowuje standardowy interfejs next-token.

Wydanie Stage 1 wstępnie wytrenowano na zbiorze Dolma 3 Mix (5,73 bln tokenów) z trzema wspólnymi celami: next-token prediction, next-concept prediction oraz dopasowaniem kwantyzacji wektorowej. Model osiąga wynik Overall AVG 49,04 (wobec 46,59 dla OLMo-3-7B), z wyraźną poprawą na zadaniach matematycznych i programistycznych. Wagi na licencji Apache 2.0.