Wnioskowanie
Magnitude pruning
2015AktywnyAktualizacja: 22 września 2026Opublikowany
Najprostsza metoda przycinania sieci: usuwanie wag o najmniejszej wartości bezwzględnej (najbliższych zeru) jako najmniej istotnych.
Kluczowa
innowacja
Uczynienie z wartości bezwzględnej wagi kryterium jej usunięcia — prosty, silny baseline.
Kategoria
Wnioskowanie
Poziom abstrakcji
Building block
Poziom operacji
Po-trening
Zastosowania
Kompresja modeliRzadkość (sparsity)Lottery ticket hypothesis
Jak działa
Wyznacza się próg wartości bezwzględnej wag i zeruje te poniżej progu; opcjonalnie dostraja się model iteracyjnie.
Rozwiązany problem
Sieci neuronowe są nadparametryzowane; trzeba tanio usunąć zbędne wagi bez dużej utraty jakości.