Nvidia udostępniła 28 października 2026 r. Nemotron 3.5 Transcribe 30B-A4B — otwarty model zamieniający mowę na tekst w 40 językach, w tym polskim. Model obsługuje nagrania do godziny i rozpoznaje, kto co powiedział, ale celowo nie działa na transmisjach na żywo. Razem z nim ukazała się druga wersja zbioru treningowego Granary.
Najważniejsze w skrócie
- 34 mld parametrów łącznie, ok. 4,3 mld aktywnych przy jednym przebiegu — razem z enkoderem audio
- 40 języków transkrypcji, tłumaczenie mowy w obie strony z 31 językami
- Nagrania do 1 godziny, okno kontekstu 65 536 tokenów, jedna karta H100 80 GB
- Średni WER 4,71% na angielskim Open ASR Leaderboard wobec 4,94% dla Qwen3-ASR-1.7B
- Licencja OpenMDW-1.1, wagi w BF16, FP8 i NVFP4
Wyobraźmy sobie taką sytuację
Firma nagrywa godzinną telekonferencję z czterema osobami — to przykład redakcyjny, nie przypadek ze źródeł. Nagranie trafia do modelu razem z jednym zdaniem instrukcji: ma powstać czysty transkrypt bez „yyy” i przypadkowych powtórzeń, z interpunkcją, z oznaczeniem mówców i ze znacznikiem czasu przy każdym słowie.
Model zwraca gotowy tekst w jednym przebiegu. Nie trzeba trzech osobnych narzędzi — rozpoznawania mowy, rozdzielania mówców i czyszczenia tekstu.
Ale pojawia się problem: ta sama firma chciałaby też napisów w trakcie spotkania, a tego Nemotron 3.5 Transcribe nie zrobi.
Karta modelu stawia sprawę jednoznacznie: to model offline, a wewnętrzne dzielenie dźwięku na 30-sekundowe fragmenty nie czyni z niego usługi strumieniowej.
Co właściwie wypuściła Nvidia?
Nemotron 3.5 Transcribe 30B-A4B przyjmuje nagranie razem z instrukcją tekstową i zwraca tekst. Nvidia klasyfikuje go jako Speech-Augmented Language Model — model językowy, do którego dołożono moduł słuchania. Różnica wobec klasycznego systemu rozpoznawania mowy polega na tym, że styl wyniku ustala się zdaniem w prompcie, a nie przełącznikiem w kodzie.
Pod spodem pracują trzy elementy. Enkoder ASR o ok. 600 mln parametrów zamienia dźwięk na reprezentację zrozumiałą dla modelu językowego. Obok niego enkoder mówców Nemotron-3-Diarization (ok. 99 mln parametrów) pilnuje, kto mówi. Oba zasilają backbone?backbone: główny model językowy, na którym opiera się cały system Nemotron 3.5 Lightning 30B-A3B — hybrydę architektury Mamba-2 i transformera w układzie mixture of experts.
Z 34 mld parametrów całości przy jednym przebiegu pracuje ok. 4,3 mld: ok. 3,5 mld w backbonie plus ok. 800 mln w enkoderze audio. Dlatego model mieści się na jednej karcie H100 80 GB, a dokumentacja wymienia też sprzęt mniejszy niż serwerowy — Jetson Thor, DGX Spark (GB10) oraz RTX 5090 w precyzji NVFP4.
Diagram pokazuje przepływ opisany w karcie modelu, nie konkretne wdrożenie.
Czy ta jakość faktycznie przewyższa konkurencję?
WER (word error rate) to odsetek źle rozpoznanych słów — im niżej, tym lepiej. Na angielskim Open ASR Leaderboard, zestawie dziewięciu publicznych nagrań, Nemotron notuje średnio 4,71% błędów wobec 4,94% dla Qwen3-ASR-1.7B, dotąd najlepszego modelu z otwartymi wagami. Przewaga realna, ale wąska.
Wyraźniej widać ją tam, gdzie nagranie jest długie albo nieanglojęzyczne. Na długich materiałach (CORAAL, Earnings21, Earnings22) średni WER wynosi 10,98% wobec 13,37% dla Parakeet-TDT-0.6B-v3, a na wielojęzycznym leaderboardzie 4,62% wobec 6,49% dla Qwen3-ASR-1.7B.
Najciekawszy wynik dotyczy jednak zadania, którego pojedynczy model zwykle nie wykonuje. Przy kilku mówcach liczy się cpWER — WER liczony dopiero po dopasowaniu etykiet mówców do rzeczywistych osób. Średnia z czterech zbiorów (AMI, CALLHOME, Mixer 6, NOTSOFAR-1) wynosi 15,80% i jest to najlepszy opublikowany wynik, przed kombinacją DiCoW v3.3 i DiariZen (16,83%).
| Benchmark | Nemotron 3.5 Transcribe | Najlepszy dotychczasowy wynik |
|---|---|---|
| Open ASR Leaderboard (angielski) | 4,71% WER | 4,94% — Qwen3-ASR-1.7B |
| Leaderboard wielojęzyczny | 4,62% WER | 6,49% — Qwen3-ASR-1.7B |
| Nagrania długie (CORAAL, Earnings21, Earnings22) | 10,98% WER | 13,37% — Parakeet-TDT-0.6B-v3 |
| Wielu mówców (AMI, CALLHOME, Mixer 6, NOTSOFAR-1) | 15,80% cpWER | 16,83% — DiCoW v3.3 i DiariZen |
Co z polskim?
Polski trafił do najwyższej z trzech kategorii jakości w karcie modelu — „Leading”, czyli poziom bliski stanowi sztuki bez dostrajania. Na zbiorze FLEURS?FLEURS: wielojęzyczny zbiór testowy nagrań mowy, służący do porównywania modeli rozpoznawania mowy model notuje dla polskiego 3,81% WER, a rozpoznanie samego języka wychodzi w 99,87% przypadków.
Czego brakuje: przypisywanie wypowiedzi do konkretnych mówców jest potwierdzone dla trzynastu języków i polskiego wśród nich nie ma. Tłumaczenie mowy w obie strony z angielskim już działa — na FLEURS kierunek z polskiego na angielski daje 26,54 BLEU?BLEU: miara jakości tłumaczenia maszynowego, tym wyższa, im bliżej tłumaczenia wzorcowego, w drugą stronę 18,56.
Co znaczą te nazwy?
- MoE (mixture of experts) — model podzielony na wiele wyspecjalizowanych bloków, z których przy każdym tokenie uruchamia się tylko kilka. Można to porównać do dużej firmy, w której nad jednym zgłoszeniem pracuje dwóch specjalistów, a nie cały zespół.
- Diarizacja — ustalenie, kto mówi w którym fragmencie nagrania. To nie jest rozpoznanie tożsamości: model nadaje tagi
<spk:0>,<spk:1>i nie wie, do kogo należą. - Głowica CTC — dodatkowy moduł doklejający do transkryptu znaczniki czasu na poziomie pojedynczych słów.
- NVFP4 — czterobitowy format liczb Nvidii. Wagi zajmują mniej pamięci kosztem części precyzji, dzięki czemu model mieści się na mniejszej karcie.
- Speculative decoding — mniejszy model zgaduje kilka kolejnych tokenów naraz, a duży tylko je weryfikuje. Skraca czas odpowiedzi bez zmiany wyniku.
Wszystkie te elementy służą jednemu: zmieszczeniu jakości modelu 34-miliardowego w budżecie modelu kilkumiliardowego.
Dlaczego nie wystarczy sam model rozpoznawania mowy?
Łączenie klocków
Dzisiejszy transkrypt spotkania powstaje zwykle z kilku klocków: jeden model zamienia dźwięk na słowa, drugi rozdziela mówców, trzeci porządkuje interpunkcję i liczby. Dowodem jest sama tabela porównawcza Nvidii — najlepszy dotychczasowy wynik w transkrypcji wielomówcowej należy nie do jednego modelu, lecz do pary DiCoW v3.3 i DiariZen.
Łączenie klocków kosztuje: każda granica między nimi to miejsce, w którym błąd jednego etapu wchodzi do następnego.
Słownictwo
Model trenowany na ogólnej mowie przekręca nazwy leków, oznaczenia produktów i identyfikatory. Klasyczne obejście to lista słów ładowana do dekodera albo dotrenowanie modelu. Tutaj wystarcza wpisanie terminów do promptu, co w testach Nvidii na nagraniach z konferencji wynikowych podnosi wyłapywanie słów kluczowych z 58,16% do 96,05%.
Styl
Transkrypt dosłowny, z każdym „yyy”, przydaje się w badaniach, ale do napisów potrzebny jest tekst czysty — zwykle robi to osobny etap obróbki. Nemotron przełącza się między trybami instrukcją, a benchmark Preference-ASR mierzy to wprost: 7,56% WER bez instrukcji i 6,16% z instrukcją.
Czy to już działa?
Tak — wagi są publicznie dostępne od 28 października 2026 r. Nvidia opublikowała model na Hugging Face, w NGC, na build.nvidia.com i w repozytorium NeMo Speech, na licencji OpenMDW-1.1 dopuszczającej zastosowania komercyjne. Obok wersji BF16 są warianty FP8 i NVFP4 oraz osobny model pomocniczy DFlash2 do speculative decoding.
Jedno zastrzeżenie dotyczy wydajności. Nvidia podaje, że na karcie RTX PRO 6000 Blackwell Server Edition model przetwarza do 2238 sekund dźwięku na sekundę i zwraca transkrypt 30-sekundowego nagrania w 0,13 s — ale te optymalizacje serwowania nie weszły do wydania open source. Udostępniona integracja z vLLM jest przeznaczona do prac rozwojowych i według karty modelu działa około dwukrotnie wolniej. Drugie zastrzeżenie: brak trybu na żywo to cecha konstrukcyjna, nie tymczasowe ograniczenie.
Dlaczego to ważne?
Transkrypcja spotkań i dokumentacja medyczna to dwa obszary, w których AI już zarabia, a które dotąd wymagały albo chmury, albo składania pipeline'u z kilku modeli. Otwarte wagi mieszczące się na jednej karcie przesuwają ten wybór w stronę wdrożeń lokalnych — istotne tam, gdzie nagrania nie mogą opuścić organizacji. Jednocześnie brak trybu na żywo zostawia całą kategorię asystentów głosowych poza zasięgiem tego modelu.
Co dalej?
- Nvidia deklaruje w karcie modelu zamiar przeniesienia zoptymalizowanej ścieżki serwowania do NeMo Speech i vLLM — bez podanej daty
- Pipeline zbioru Granary v2 jest już publiczny w NeMo Curator, a pełne przebiegi end-to-end i skrypty etapów mają zostać dołożone później
- Transkrypcja wielomówcowa dla polskiego i ponad dwudziestu innych języków pozostaje luką do domknięcia dostrajaniem w NeMo Speech
Źródła
- TechCrunch — Voice AI in vogue: Nvidia releases new open transcription model
- Hugging Face — NVIDIA-Nemotron-3.5-Transcribe-30B-A4B
- Hugging Face — Granary-v2
