Hunyuan-Large

Hunyuan-Large to duży model językowy typu mieszaniny ekspertów (MoE) opracowany przez Tencent, udostępniony 5 listopada 2024 r. Jest to jeden z największych otwartych modeli MoE opartych na transformerze: ma 389 miliardów parametrów łącznie, z czego przy każdym tokenie aktywowanych jest 52 miliardy.

Model obsługuje bardzo długi kontekst — wersja bazowa (pre-trained) do 256K tokenów, a wersja instruowana (instruct) do 128K tokenów. Jest to model tekstowy, wyróżniający się w rozumieniu i generowaniu języka, rozumowaniu logicznym, matematyce, programowaniu oraz zadaniach wielojęzycznych (z naciskiem na angielski i chiński).

Do kluczowych innowacji technicznych należą: trening na dużej skali danych syntetycznych, mieszana strategia routingu ekspertów, kompresja pamięci podręcznej klucz-wartość (KV cache) oraz dostrajanie tempa uczenia specyficzne dla ekspertów. Autorzy zbadali też prawa skalowania (scaling laws) dla modeli MoE oraz harmonogramy tempa uczenia.

Według raportu technicznego Hunyuan-Large przewyższa LLaMA 3.1-70B i osiąga wyniki porównywalne ze znacznie większym LLaMA 3.1-405B — mimo aktywowania jedynie 52 mld parametrów. Kod i wagi udostępniono na GitHubie oraz Hugging Face na licencji Tencent Hunyuan Community License Agreement; model dostępny jest również przez chmurę Tencent.