28 października 2026 r. NVIDIA wydała Nemotron-3.5-Transcribe-30B-A4B — model mowy, który na Open ASR Leaderboard osiąga najlepszy średni WER spośród modeli z otwartymi wagami. Tego samego dnia na Hugging Face pojawiła się jego przycięta wersja: 10,0 GB zamiast 67,5 GB, bez ani jednego kroku dotrenowania. Dokładność spadła z 4,12% do 5,16% WER, a przycięty model działa szybciej od oryginału.
Najważniejsze w skrócie
- Rozmiar wag: z 67,5 GB do 10,0 GB, czyli 6,75 raza mniej, bez dotrenowania i bez destylacji
- Średni WER 5,16% wobec 4,12% u modelu bazowego, mierzony na 300 nagraniach (FLEURS en/de/es oraz LibriSpeech test-clean)
- Wariant pośredni ze 96 ekspertami: 4,15% WER przy ok. 53 GB, czyli wynik w granicach szumu po usunięciu jednej czwartej ekspertów
- Przepustowość pojedynczego strumienia na H200: 50,4 RTFx?RTFx: krotność czasu rzeczywistego, czyli ile sekund nagrania model transkrybuje w ciągu jednej sekundy pracy wobec 39,3 u modelu bazowego
- Metoda: REAP z pracy arXiv:2510.13999, jeden przebieg kalibracyjny na ok. 2 500 transkryptach FLEURS w 8 językach
Od czego się to zaczyna
Zespół chce transkrybować nagrania rozmów na własnym sprzęcie, bez wysyłania ich do chmury. Nemotron-3.5-Transcribe jest do tego najmocniejszym dostępnym modelem z otwartymi wagami, tylko że karta modelu NVIDII podaje jako konfigurację wdrożeniową jedną kartę H100 z 80 GB pamięci. Same wagi w BF16 zajmują 67,5 GB.
Karta z 12 GB pamięci, czyli typowy sprzęt deweloperski, odpada na starcie.
Pojawia się więc pytanie: ile z tych 67,5 GB jest naprawdę potrzebne, żeby model dalej poprawnie rozpoznawał mowę?
Przycięta wersja opublikowana na Hugging Face przez konto akhaliq odpowiada na nie konkretną liczbą: 10,0 GB wystarczy, żeby model zmieścił się na karcie z 12 GB, kosztem przejścia z 4,12% na 5,16% błędu.
Co dokładnie zostało przycięte?
Backbone językowy Nemotrona to mixture of experts, czyli model podzielony na wiele małych podsieci, z których router wybiera tylko kilka na każdy token. Stąd rozbieżność w parametrach: karta NVIDII podaje 34 mld parametrów łącznie, ale tylko ok. 4,3 mld aktywnych przy jednym tokenie. Reszta leży w pamięci i czeka na swoją kolej.
To właśnie ta reszta jest kandydatem do usunięcia.
Przycinanie objęło wyłącznie routowanych ekspertów w warstwach MoE: ze 128 zostało 96 albo 64. Enkoder audio, enkoder mówców i głowica CTC odpowiedzialna za znaczniki czasu nie zostały ruszone. Dlatego przycięty model zachowuje zadania oryginału: 40 języków, tłumaczenie mowy, transkrypcję z przypisaniem mówców, znaczniki czasu słów i odpowiadanie na pytania o nagranie.
Jak działa REAP?
REAP wylicza dla każdego eksperta jedną liczbę, iloczyn wagi przyznanej mu przez router i normy jego aktywacji. Eksperci z najniższym wynikiem w danej warstwie zostają usunięci.
Kalibracja?Kalibracja: przebieg modelu po zestawie przykładowych danych, mierzący aktywność poszczególnych części sieci to jeden przebieg po ok. 2 500 transkryptach FLEURS w ośmiu językach. Nie ma dotrenowania odtwarzającego utraconą jakość ani destylacji z modelu bazowego. Po usunięciu ekspertów przycinane są odpowiadające im wiersze routera wraz z biasem korekcyjnym, a eksperci współdzieleni, głowica MTP i warstwy gęste zostają nietknięte.
To uproszczony schemat procedury opisanej w karcie modelu, a nie pełny opis kodu.
Na końcu przychodzi kwantyzacja W4A16, prowadzona bez kalibracji, z routerem, embeddingami, głowicą lm_head i skalarami Mamby pozostawionymi w pełnej precyzji.
Co pokazują liczby?
Najbardziej wymowny wynik nie dotyczy wariantu 10 GB, tylko pośredniego. Po usunięciu jednej czwartej ekspertów, czyli ze 128 do 96, średni WER wyniósł 4,15% wobec 4,12% u modelu bazowego. Różnica mieści się w szumie pomiarowym, a to oznacza, że czwarta część ekspertów nie wnosiła nic mierzalnego.
Dopiero zejście do 64 ekspertów kosztuje: 5,08%, czyli o blisko punkt procentowy gorzej. Dołożenie na wierzch kwantyzacji do 4 bitów podnosi ten wynik zaledwie do 5,16%, przy jednoczesnym zejściu z 38 GB do 10 GB.
| Wariant | Ekspertów | Rozmiar wag | Średni WER |
|---|---|---|---|
| Model bazowy, BF16 | 128 | 67,5 GB | 4,12% |
| Przycięty, BF16 | 96 | ok. 53 GB | 4,15% |
| Przycięty, BF16 | 64 | 38 GB | 5,08% |
| Przycięty, W4A16 | 64 | 10,0 GB | 5,16% |
Nieoczywista jest prędkość. Wariant 10 GB okazał się najszybszą z testowanych konfiguracji: 50,4 RTFx w pojedynczym strumieniu wobec 39,3 u modelu bazowego i 171,3 wobec 142,1 przy ośmiu równoległych żądaniach, mierzone na H200 w vLLM z dekodowaniem zachłannym?dekodowaniem zachłannym: generowaniem, w którym model na każdym kroku wybiera najbardziej prawdopodobny token, bez przeszukiwania alternatyw. Mniejszy model to mniej danych do przeczytania z pamięci karty na każdy token.
Co znaczą te nazwy?
W całej procedurze przewijają się cztery pojęcia, bez których liczby niewiele mówią.
- Mixture of experts (MoE) — architektura, w której model jest podzielony na wiele równoległych podsieci, a router kieruje każdy token tylko do kilku z nich. Odpowiednik firmy z wieloma specjalistami, z których do każdej sprawy wzywa się dwóch, a nie wszystkich.
- REAP — kryterium wyboru ekspertów do usunięcia, łączące wagę przyznaną przez router z siłą aktywacji eksperta. Można to porównać do usuwania z magazynu części, po które nikt nigdy nie sięga.
- W4A16 — format, w którym wagi są zapisane na 4 bitach, a obliczenia prowadzone na 16 bitach. To zmiana precyzji zapisu, nie liczby parametrów.
- WER — word error rate, odsetek błędnie rozpoznanych słów. Niżej znaczy lepiej.
Te pojęcia dzielą się na dwie niezależne dźwignie: REAP zmniejsza liczbę parametrów, W4A16 zmniejsza liczbę bitów na parametr, a WER mierzy, ile każda z nich kosztuje.
Dlaczego nie wystarczy sama kwantyzacja?
Kwantyzacja jest prostsza i dobrze opanowana, NVIDIA sama publikuje warianty FP8 i NVFP4 modelu bazowego. Ma jednak twardy limit: zmniejsza liczbę bitów na parametr, ale nie liczbę parametrów. Model ze 128 ekspertami pozostaje modelem ze 128 ekspertami niezależnie od tego, na ilu bitach zapisano jego wagi.
Przycinanie działa na drugiej osi, bo usuwa całe podsieci. Dlatego obie techniki się składają, co widać w liczbach: przejście z 64 ekspertów w BF16 na 64 ekspertów w W4A16 obniża rozmiar z 38 GB do 10 GB i pogarsza WER o 0,08 punktu.
Jest jeszcze drugi problem, którego kwantyzacja nie ma, a przycinanie owszem: wybór. Usunięcie niewłaściwych ekspertów może wyciąć kompetencje, których test nie sprawdza. Kalibracja na ośmiu językach FLEURS ma temu zapobiec, ale opublikowane wyniki WER obejmują angielski, niemiecki i hiszpański. Dla pozostałych 37 języków deklaracja zachowania działania nie ma pokrycia w zmierzonych danych.
Czy to już działa?
Tak, wagi są opublikowane i działają, ale to projekt społecznościowy, a nie wydanie NVIDII. Repozytorium akhaliq/nemotron-3.5-transcribe-mini-64e powstało 28 października 2026 r. i zawiera trzy gotowe do serwowania checkpointy?checkpointy: zapisane zestawy wag modelu, gotowe do wczytania i uruchomienia: 96 ekspertów w BF16, 64 ekspertów w BF16 oraz wariant 64 ekspertów w W4A16 o rozmiarze 10,0 GB. Działa też publiczne demo na Hugging Face Spaces.
Karta modelu deklaruje weryfikację end-to-end na wariancie fused-64e i serwowanie przez vLLM. Sama wskazuje też granice pomiaru: ocena objęła nagrania do 30 sekund plus jedno ok. 90-sekundowe, więc zachowanie przy nagraniach godzinnych, które model bazowy obsługuje, nie zostało zmierzone. Rekomendacja jest rozdzielona: 96 ekspertów na karty serwerowe, 64 ekspertów w W4A16 na sprzęt konsumencki.
Dlaczego to ważne?
Dystans między premierą modelu a jego przyciętą wersją skrócił się do godzin, a nie miesięcy. Istotniejsze jest jednak to, co pokazuje wynik 96 ekspertów: w modelu wydanym przez producenta z pełnym zapleczem obliczeniowym jedna czwarta ekspertów okazała się zbędna przy rozpoznawaniu mowy. To pytanie nie o technikę kompresji, lecz o to, ile pojemności modeli MoE pozostaje nieużywane w konkretnych zastosowaniach. Dla zespołów pracujących lokalnie przesuwa to próg wejścia z karty serwerowej na sprzęt stojący już na biurku.
Co dalej?
- Karta modelu wskazuje obszar niezmierzony: zachowanie przy nagraniach zbliżonych do godziny, którą model bazowy obsługuje w oknie 65 536 tokenów
- Praca o REAP raportuje kompresję bliską bezstratnej przy usunięciu połowy ekspertów w Qwen3-Coder-480B i Kimi-K2, a wariant 96-ekspertowy zatrzymał się na jednej czwartej, więc margines dla modeli mowy nie został jeszcze sprawdzony
- NVIDIA zapowiada w karcie modelu bazowego przeniesienie optymalizacji serwowania z NIM do NeMo Speech i vLLM, bez podania terminu
Źródła
- Hugging Face — Nemotron-3.5-Transcribe-Mini (REAP-pruned)
- Hugging Face — NVIDIA-Nemotron-3.5-Transcribe-30B-A4B
- arXiv — REAP the Experts: Why Pruning Prevails for One-Shot MoE compression
- Hugging Face Spaces — nemotron-transcribe-mini
