Transformer od zera · Blok Transformera
LayerNorm: pre-norm i post-norm
Blok Transformera
Wprowadzenie
Poznasz rolę LayerNorm w bloku Transformera oraz różnicę między układami pre-norm i post-norm, które wpływają na stabilność treningu.
Transformer od zera · Blok Transformera
Blok Transformera
Poznasz rolę LayerNorm w bloku Transformera oraz różnicę między układami pre-norm i post-norm, które wpływają na stabilność treningu.