Moshi

Moshi to otwarty model głosowej sztucznej inteligencji czasu rzeczywistego, opracowany przez paryskie laboratorium Kyutai i udostępniony jako open source 18 września 2024 r. (pierwsze demo w lipcu 2024 r.). Jest to system dialogu „mowa-w-mowę” (speech-to-speech), który przetwarza mowę bezpośrednio, bez pośredniej konwersji na tekst, i działa w trybie pełnego dupleksu — jednocześnie słucha i mówi.

Architektura łączy językowy backbone Helium (7B parametrów, trenowany na 2,1 bln tokenów), neuronowy streamingowy kodek audio Mimi (12 Hz, 1,1 kbps) oraz metodę „Inner Monologue”, w której model przewiduje tokeny tekstu jako prefiks tokenów audio, co poprawia jakość językową mowy. Model liczy ok. 8 mld parametrów.

Moshi osiąga teoretyczne opóźnienie 160 ms (ok. 200 ms w praktyce), co umożliwia naturalną rozmowę w czasie rzeczywistym; rozumie też emocje i niewerbalne aspekty komunikacji. Na wejściu przyjmuje dźwięk (24 kHz, mono), a na wyjściu generuje mowę oraz zsynchronizowany w czasie tekst. Wytrenowano go na ok. 7 mln godzin audio i 20 tys. godzin dialogów syntetycznych.

Model jest otwarty: wagi na licencji CC-BY-4.0, a kod na Apache-2.0 (GitHub, Hugging Face). Dostępne są warianty Moshiko (głos męski) i Moshika (głos żeński). Kyutai to niedochodowe laboratorium AI z Paryża, finansowane m.in. przez Iliad, CMA CGM i Schmidt Sciences.