Snowflake Arctic Instruct

Snowflake Arctic Instruct to duży model językowy (LLM) opracowany przez Snowflake AI Research Team i udostępniony w kwietniu 2024 roku. Model łączy 10B-parametrowy gęsty transformer z rezydualnymi 128×3,66B warstwami MoE MLP, osiągając 480B parametrów łącznie przy zaledwie 17B aktywnych parametrach wybieranych metodą top-2 gating.

Model specjalizuje się w zadaniach enterprise: generowaniu SQL, pisaniu kodu oraz precyzyjnym wykonywaniu instrukcji. Pomimo swojej skali, unikalna architektura MoE pozwala na efektywne wnioskowanie przy użyciu ułamka aktywnych parametrów. Arctic jest udostępniany na licencji Apache 2.0 z pełnym dostępem do wag modelu.

Do wnioskowania zaleca się klaster 8×H100 (np. AWS p5.48xlarge). Model jest dostępny na Snowflake Cortex, Hugging Face, AWS, Microsoft Azure i NVIDIA API Catalog. Obsługuje fine-tuning za pomocą popularnych frameworków (LoRA, TRT-LLM, vLLM).