Robocikowo>ROBOCIKOWO

Transformer od zera · Blok Transformera

LayerNorm: pre-norm i post-norm

Blok Transformera

Wprowadzenie

Poznasz rolę LayerNorm w bloku Transformera oraz różnicę między układami pre-norm i post-norm, które wpływają na stabilność treningu.