Transformer od zera · Embeddingi i pozycja tokenów
Padding mask i causal mask
Embeddingi i pozycja tokenów
Wprowadzenie
Połączysz maskę paddingu i maskę przyczynową: pierwsza ignoruje sztuczne tokeny dopełnienia, druga blokuje dostęp do przyszłych pozycji.