Transformer od zera · Generowanie tekstu
KV cache: intuicja i implementacja
Generowanie tekstu
Wprowadzenie
Zrozumiesz, dlaczego cache kluczy i wartości przyspiesza generowanie oraz jakie ograniczenia kształtów, masek i pozycji trzeba zachować w implementacji.