NEWS31 marca 2026
MUON+: Nowa metoda optymalizacji przyspiesza trenowanie potężnych modeli AI
Badacze z Uniwersytetu Kalifornijskiego w Santa Barbara zaprezentowali MUON+, usprawnioną wersję algorytmu optymalizacji, która znacząco redukuje perplexity i czas uczenia dużych modeli językowych. Dzięki wprowadzeniu dodatkowego kroku normalizacji po fazie ortogonalizacji, nowa metoda pozwala na stabilniejsze trenowanie jednostek o skali od 60M do 1B parametrów.
