O rodzinie
Rodzina modeli DBRX to otwartowagorowe modele jezykowe zbudowane przez Databricks (oryginalnie zespol Mosaic, przejety w 2023 roku). Wszystkie modele rodziny opieraja sie na architekturze fine-grained Mixture of Experts (MoE) i Transformerze z RoPE, GLU, GQA. Modele trenowane z uzyciem wlasnego stosu: MegaBlocks, LLM Foundry, Composer i Mosaic AI Training Service. Czlonkowie rodziny: - DBRX Base (132B / 36B active) — model bazowy pretrenowany na 12T tokenow, okno kontekstu 32K - DBRX Instruct (132B / 36B active) — wersja po instruction tuningu; przy premierze (marzec 2024) state-of-the-art wsrod otwartych LLM - DBRX MoE-B (23.5B / 6.6B active) — mniejszy czlon rodziny uzywany do badan efektywnosci - DBRX MoE-A (7.7B / 2.2B active) — najmniejszy czlon, porownywany z MPT-7B
