Iteracja Newtona-Schulza jest równoważna wydobyciu lewych i prawych wektorów osobliwych (UVᵀ) z rozkładu SVD aktualizacji i odrzuceniu wartości osobliwych, co wzmacnia niedoreprezentowane kierunki. Narzut wynosi jedynie ~0,5–0,7% kosztu obliczeń typowego trenowania LM i działa stabilnie w bfloat16.
Aktualizacje oparte na momentum mają zwykle wysoki współczynnik uwarunkowania (dominują nieliczne kierunki), przez co część istotnych kierunków uczenia jest niedoreprezentowana.
