O rodzinie
Nemotron-H to rodzina hybrydowych modeli językowych NVIDIA, w których większość warstw uwagi (Transformer) zastąpiono warstwami Mamba-2 i MLP, pozostawiając jedynie niewielką liczbę warstw atencji. Celem jest zachowanie dokładności zbliżonej do modeli czysto transformerowych przy wyższej przepustowości inferencji i mniejszym zużyciu pamięci przy długim kontekście. Rodzina obejmuje modele 8B, 47B i 56B oraz warianty Base, Instruct i Reasoning. Opisana w raporcie technicznym „Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models" (arXiv:2504.03624).
