DBRX MoE-B

DBRX MoE-B to wewnetrzny model badawczy Databricks z rodziny DBRX, posredni miedzy MoE-A (7.7B) a flagowym DBRX (132B). Liczy 23.5 mld parametrow lacznie i 6.6 mld aktywnych. Nie zostal opublikowany publicznie — sluzy do walidacji skalowania architektury Mixture of Experts (MoE) na rosnacych rozmiarach modelu.

Cel modelu

DBRX MoE-B jest punktem porownawczym wobec LLaMA2-13B oraz pelnego DBRX-132B. Pokazuje, jak efektywnosc treningu rodziny DBRX skaluje sie do klasy 20+ mld parametrow oraz jak fine-grained MoE (16 ekspertow, 4 aktywne) zachowuje sie w srodkowym przedziale wielkosci.

Wyniki

Na Databricks Model Gauntlet v0.3 osiaga 45.5%, przewyzszajac LLaMA2-13B (43.8%) przy znaczaco mniejszym koszcie treningu. To kluczowa walidacja, ze recepta DBRX (architektura MoE + curriculum learning + dane wysokiej jakosci + tokenizer GPT-4) skaluje sie liniowo z wielkoscia modelu.

Status

Model nie jest dostepny publicznie ani na Hugging Face. Wagi pozostaja w wewnetrznym uzytku Databricks. W publicznym blogu DBRX (marzec 2024) wymieniony tylko jako artefakt walidacyjny — wraz z MoE-A — pelnej recepty treningowej DBRX-132B.