EmbeddingGemma 2

EmbeddingGemma 2 to otwarty, multimodalny model embeddingów opracowany przez Google DeepMind. Mapuje tekst (w tym kod), obrazy, wideo oraz dźwięk — a także ich kombinacje — do jednej, wspólnej 768-wymiarowej przestrzeni wektorowej. Model liczy 740 mln parametrów: trzon tekstowy 270M (transformer 130M + embedder 140M) uzupełniają selektywnie ładowane enkodery obrazu (170M) i audio (300M).

Model zaprojektowano do działania na sprzęcie konsumenckim — urządzeniach mobilnych i laptopach — z myślą o niskolatencyjnych zastosowaniach on-device: wyszukiwaniu semantycznym, retrieval-augmented generation (RAG), klasyfikacji i klasteryzacji. Okno kontekstu wynosi 8 192 tokeny, co pozwala przetwarzać także minuty audio lub wideo.

Kluczowe cechy

• Natywna multimodalność: cztery modalności (tekst, obraz, wideo, audio) w jednej 768-wymiarowej przestrzeni.
• Wielojęzyczność i kod: obsługa ponad 100 języków oraz ok. 14% poprawa na zadaniach kodowych względem poprzednika.
• Matryoshka Representation Learning (MRL): natywne skracanie wektorów do 128, 256 i 512 wymiarów, do ok. 6-krotnej redukcji kosztów przechowywania przy minimalnej utracie jakości.
• Elastyczny rozmiar: selektywne ładowanie enkoderów (tylko tekst 270M, tekst+obraz 440M, tekst+audio 570M, pełny multimodalny 740M).

EmbeddingGemma 2 bazuje na architekturze i udoskonaleniach rodziny Gemma 4 i jest udostępniony na otwartej licencji Apache 2.0. Zalecana precyzja inferencji to bfloat16 lub float32 — użycie float16 prowadzi do błędnych (NaN) lub cicho zdegradowanych wyników.