Carbon-X

Carbon-X to otwarty model językowy o 14,8 mld parametrów (architektura dekodera) z rodziny Carbon, rozwijany przez zespół Hugging Face Bio. Został wytrenowany wspólnie na sekwencjach DNA i tekście w języku naturalnym, startując z modelu Qwen3-14B.

DNA i tekst dzielą jeden strumień tokenów w jednym dekoderze – nie ma osobnego enkodera DNA. Hybrydowy tokenizer zachowuje słownik BPE dla tekstu, a DNA koduje jako nienakładające się 6-mery, więc jeden token DNA obejmuje 6 par zasad.

Model przyjmuje surowe DNA wklejone do zwykłej rozmowy i odpowiada po angielsku: przewiduje, czy mutacje są łagodne czy patogenne, identyfikuje regiony kontrolujące aktywność genów, klasyfikuje sekwencje według grupy organizmów, przewiduje kolejne zasady sekwencji i objaśnia swoje rozumowanie.

Na pięciu benchmarkach DNA Carbon-X osiąga średnio 66,7% przy wyłączonym myśleniu – o 27 punktów więcej niż bazowy Qwen3-14B. Wagi mieszczą się na jednym GPU 80 GB w bfloat16, co pozwala utrzymać wrażliwe lub niepublikowane sekwencje na własnej infrastrukturze. Model jest dostępny na licencji Apache 2.0.