Trening
Muon (optymalizator)
2024AktywnyAktualizacja: 28 sierpnia 2026Opublikowany
Muon to optymalizator do trenowania sieci neuronowych, który ortogonalizuje aktualizacje momentum dla macierzy wag 2D.
Kluczowa
innowacja
Ortogonalizacja Newtona-Schulza aktualizacji momentum dla macierzy 2D warstw ukrytych, przyspieszająca trenowanie sieci.
Kategoria
Trening
Poziom abstrakcji
Building block
Poziom operacji
Element architekturyModel
Zastosowania
Szybsze trenowanie sieci neuronowych i LLMRekordy szybkości (NanoGPT speedrun, CIFAR-10)Receptury treningu modeli (np. Qwen3.8-Flash-Next: Muon + AdamW)Efektywne pretrenowanie i dostrajanie
Jak działa
Iteracja Newtona-Schulza jest równoważna wydobyciu lewych i prawych wektorów osobliwych (UVᵀ) z rozkładu SVD aktualizacji i odrzuceniu wartości osobliwych, co wzmacnia niedoreprezentowane kierunki. Narzut wynosi jedynie ~0,5–0,7% kosztu obliczeń typowego trenowania LM i działa stabilnie w bfloat16.
Rozwiązany problem
Aktualizacje oparte na momentum mają zwykle wysoki współczynnik uwarunkowania (dominują nieliczne kierunki), przez co część istotnych kierunków uczenia jest niedoreprezentowana.