Transformer od zera · Decoder-only Transformer
Head językowy i logits
Decoder-only Transformer
Wprowadzenie
Poznasz głowicę językową, która zamienia reprezentacje tokenów na logits po słowniku, oraz związek między logits, softmaxem i cross-entropy.
Transformer od zera · Decoder-only Transformer
Decoder-only Transformer
Poznasz głowicę językową, która zamienia reprezentacje tokenów na logits po słowniku, oraz związek między logits, softmaxem i cross-entropy.