Nemotron-H-8B-128K

Nemotron-H-8B-128K to model językowy (LLM) o około 8 miliardach parametrów opracowany przez NVIDIA, należący do rodziny Nemotron-H. Wykorzystuje hybrydową architekturę złożoną głównie z warstw Mamba-2 (model przestrzeni stanów) oraz warstw MLP, uzupełnioną jedynie czterema warstwami uwagi (Transformer). Takie podejście ma zapewnić dokładność zbliżoną do modeli czysto transformerowych przy niższych kosztach inferencji, zwłaszcza dla długiego kontekstu.

Model obsługuje okno kontekstu do 128 000 tokenów i działa na wejściu oraz wyjściu tekstowym. Wspiera dziesięć języków: angielski, niemiecki, hiszpański, francuski, włoski, koreański, portugalski, rosyjski, japoński i chiński. Dane pretreningowe mają datę graniczną wrzesień 2024.

Model udostępniany jest w wariantach Base, Instruct i Reasoning (128K), a także w checkpointach BF16 i FP8. Wariant Reasoning potrafi generować ślad rozumowania przed odpowiedzią, a tryb rozumowania można włączać i wyłączać przez prompt systemowy. Model przeznaczony jest wyłącznie do celów badawczo-rozwojowych i objęty licencją NVIDIA Internal Scientific Research and Development Model License.

Architektura, trening i ewaluacja opisane są w raporcie technicznym „Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models" (arXiv:2504.03624).