Google DeepMind udostępniło 12 sierpnia 2026 model Sign-Language-to-Text (SL2T), który tłumaczy język migowy na tekst wprost w klawiaturze Gboard i aplikacji Live Transcribe. Osoby Głuche i słabosłyszące mogą migać zamiast pisać, a tłumaczenie pojawia się od razu jako tekst.
Najważniejsze w skrócie
- Pierwsze wdrożenie obejmuje amerykański język migowy (ASL) tłumaczony na angielski; kolejne języki mają dojść później.
- Model trenowano na ponad 100 tysiącach godzin nagrań z ponad 50 języków migowych (około 25% to ASL).
- Zamiast surowego wideo na serwer trafiają tylko współrzędne punktów kluczowych sylwetki i dłoni.
- Model osiąga wynik zero-shot BLEURT równy 70 na benchmarku FLEURS-ASL.
- Funkcja startuje na telefonie Pixel 11, bez dodatkowych opłat, z zapowiedzią kolejnych urządzeń.
Jak działa tłumaczenie
Zamiast analizować obraz wideo, Google DeepMind korzysta z MediaPipe Holistic, które śledzi punkty kluczowe sylwetki i dłoni. Surowe wideo jest natychmiast odrzucane, a do serwera trafiają wyłącznie współrzędne geometryczne. Model tłumaczy je bezpośrednio na tekst, pomijając pośredni etap tzw. glos — uproszczonych zapisów znaczeń poszczególnych znaków.
To istotna różnica względem starszych układów rozpoznawania migów. Tradycyjny łańcuch prowadził od gestu przez glosy do tekstu, gubiąc po drodze płynność i kontekst. Przejście wprost z punktów kluczowych na tekst upraszcza pipeline i skraca drogę do naturalnego zdania.
Prywatność i jakość
Wysyłanie samych współrzędnych, a nie nagrania twarzy i otoczenia, mocno ogranicza ślad prywatności. Jakość mierzona jest metryką BLEURT: model bez wcześniejszego dostrajania (zero-shot) uzyskał 70 punktów na benchmarku FLEURS-ASL. To wynik obiecujący jak na tłumaczenie bez treningu pod konkretny zbiór, choć realną użyteczność zweryfikują dopiero codzienne rozmowy.
Współtworzone z osobami Głuchymi
Projekt powstawał z udziałem społeczności Głuchych. Firma powołała komitet doradczy AI Sign Language Advisory Committee (AISLAC), skupiający globalne organizacje Głuchych, a pomysłodawcą był Sam Sepah, Głuchy pracownik Google.
Miganie w ASL jest szybsze, bardziej naturalne i przyjemniejsze niż pisanie po angielsku.
Sam Sepah, pomysłodawca projektu, Google.
Dlaczego to ważne?
Rozpoznawanie języka migowego długo pozostawało niszą badawczą, rzadko trafiając do rąk użytkowników. Wpięcie tłumaczenia w klawiaturę systemową zmienia to z demonstracji w codzienne narzędzie dostępności. Podejście oparte na punktach kluczowych pokazuje też, że można pogodzić użyteczność z prywatnością, nie wysyłając nagrań wideo na serwer.
Co dalej?
- Po ASL i angielskim mają dojść kolejne języki migowe — model trenowano już na ponad 50 z nich.
- Poza Pixelem 11 funkcja ma trafić na kolejne urządzenia — Google zapowiada rozszerzenie wsparcia.
- Wynik zero-shot BLEURT 70 to punkt odniesienia — kolejne wersje modelu będzie można porównać na tym samym benchmarku FLEURS-ASL.
Źródła
- Google DeepMind — Putting Sign Language AI into Users' Hands
- Google for Developers — MediaPipe Holistic Landmarker
