Grok-1

Grok-1 to bazowy model językowy xAI o 314 mld parametrów, opublikowany 17 marca 2024 r. jako open-weights na licencji Apache-2.0. Wykorzystuje architekturę Mixture of Experts (8 ekspertów, 2 aktywne na token), 64 warstwy, 48 głów uwagi dla zapytań i 8 dla kluczy/wartości, embedding 6144, tokenizer SentencePiece z 131 072 tokenami oraz rotacyjne osadzenia pozycyjne (RoPE). Maksymalna długość kontekstu wynosi 8 192 tokeny. Jest to model surowy (przed fine-tuningiem), pretrenowany od zera przez xAI i ukończony w październiku 2023 r. — wagi udostępniono w marcu 2024 r. Z uwagi na rozmiar uruchomienie wymaga maszyny wieloprocesorowej z dużą ilością pamięci GPU.