Niezależny projekt zamienił EmbeddingGemma 2 — multimodalny model embeddingowy Google DeepMind — w system rozpoznawania mowy. Godzina nagrania przechodzi w 12,6 sekundy na bazowym MacBooku Air, lokalnie, mimo że model nigdy nie był trenowany do transkrypcji.
Najważniejsze w skrócie
- Godzina audio w 12,6 s na bazowym M3 MacBooku Air — 288× szybciej niż czas rzeczywisty
- Trenowany jest tylko mały „reader": poniżej dwóch godzin na ośmiu H100
- Transkrypcja powstaje przez wybór najbliższego z około 229 000 angielskich słów
- Word error rate około 5% wobec 2–3% u czołowych modeli mowy
- EmbeddingGemma 2 ma 740 mln parametrów, w tym 300 mln w enkoderze audio, i licencję Apache 2.0
Czytanie słów z przestrzeni wektorowej
EmbeddingGemma 2 od Google DeepMind mapuje tekst, obrazy, wideo i dźwięk do jednej, wspólnej przestrzeni o 768 wymiarach — wypowiedziane słowo trafia blisko tego samego słowa zapisanego.
Projekt wykorzystał to dosłownie: enkoder audio zostaje bez zmian, a mały reader?reader: Cienka warstwa tłumacząca wektor fragmentu dźwięku na wektor w przestrzeni tekstu. Jedyny element, który w tym projekcie w ogóle był trenowany. przenosi krótki fragment nagrania do przestrzeni tekstowej modelu. Wygrywa najbliższe z około 229 000 angielskich słów, a fragmenty składają się w transkrypcję.
Diagram pokazuje kolejność kroków opisaną przez autorów. Nie odwzorowuje architektury enkodera audio ani sposobu treningu readera.
Koszt treningu: dwie godziny na ośmiu kartach
Trening dotyczy wyłącznie readera — enkoder audio pozostaje zamrożony. Zajął mniej niż dwie godziny na ośmiu kartach H100 i korzystał tylko z mowy angielskiej na otwartych licencjach. To cały budżet, za jaki model embeddingowy dostał nową modalność wyjściową.
Szybkość kontra dokładność
Na tym samym MacBooku Air projekt osiąga 288× czasu rzeczywistego wobec około 150× dla IBM Granite Speech 5.0 TurboCTC, który liczy na GPU przez MLX. Wszystko liczy się na Neural Engine, bez wysyłania dźwięku z komputera.
| Rozwiązanie | Sprzęt | Krotność | Godzina audio |
|---|---|---|---|
| Embedding Gemma Transcribe | Neural Engine, M3 MacBook Air 8 GB | 288× | 12,6 s |
| IBM Granite Speech 5.0 TurboCTC | GPU (MLX), ten sam Mac | ~150× | 25,7 s |
| Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine, M4 Pro | 156× | — |
| Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine, M5 Pro | 335× | — |
| Phonon-2 (FluidAudio) | M5 Pro | 480× | — |
Autorzy zaznaczają to wprost: Parakeet TDT 0.6B v3 od NVIDII i jego fine-tune Phonon-2 zmierzono na innym sprzęcie. Cena prędkości jest natomiast widoczna w jakości — około 5% word error rate wobec 2–3% u czołowych modeli mowy.
Dlaczego to ważne?
Każda nowa modalność w AI zwykle oznacza nowy model, nowy zbiór danych i nowy budżet treningowy. Tutaj koszt zamknął się w dwóch godzinach na ośmiu kartach, bo cała trudna część — rozumienie dźwięku — siedziała już w embeddingach. Pięć procent błędu nie wystarczy do produkcji, ale sam sposób dojścia do wyniku jest powtarzalny dla innych par modalności, nie tylko mowy i tekstu.
Co dalej?
- Autorzy zapowiadają kolejną iterację z lepiej wytrenowanym readerem, żeby zmniejszyć 5-procentowy błąd
- Aplikacja w wersji 1.6 działa na macOS 14+ i Apple Silicon, modele ważą 715 MB
- Projekt obsługuje tylko angielski i nie jest powiązany ani firmowany przez Google
Źródła
- Embedding Gemma Transcribe — We turned EmbeddingGemma 2 into a speech-to-text model
- Hugging Face — google/embeddinggemma-2 model card
