Model koduje wejście do przestrzeni utajonej, przewiduje/przetwarza reprezentacje utajone i dopiero potem dekoduje je do tokenów tekstu.
Operowanie wyłącznie na dyskretnych tokenach utrudnia planowanie i abstrakcję na dłuższym horyzoncie.
