Architektura
Latent Space Language Model
2024BadawczyAktualizacja: 22 września 2026Opublikowany
Model językowy operujący lub przewidujący w przestrzeni utajonej (ciągłej lub skwantyzowanej) zamiast wyłącznie na poziomie dyskretnych tokenów.
Kluczowa
innowacja
Przeniesienie predykcji/rozumowania z poziomu tokenów do przestrzeni utajonej.
Kategoria
Architektura
Poziom abstrakcji
Paradygmat
Poziom operacji
Model
Zastosowania
Rozumowanie w przestrzeni utajonejModele konceptów (NCP, LCM)Efektywne LLM
Jak działa
Model koduje wejście do przestrzeni utajonej, przewiduje/przetwarza reprezentacje utajone i dopiero potem dekoduje je do tokenów tekstu.
Rozwiązany problem
Operowanie wyłącznie na dyskretnych tokenach utrudnia planowanie i abstrakcję na dłuższym horyzoncie.