Gemma-2-9B-it

Gemma-2-9B-it to otwarty, dostrojony instrukcyjnie model językowy (LLM) o 9 mld parametrów, opracowany przez Google DeepMind i udostępniony w czerwcu 2024 r. Jest to dekoderowy model typu tekst→tekst, przeznaczony m.in. do odpowiadania na pytania, streszczania, rozumowania i generowania kodu.

Architektura Gemma 2 łączy naprzemienne warstwy uwagi lokalnej (przesuwane okno) i globalnej, Grouped-Query Attention (GQA) oraz miękkie ograniczanie logitów (logit soft-capping) w warstwach uwagi i wyjściowej. Wariant 9B trenowano z użyciem destylacji wiedzy z większego modelu-nauczyciela. Model wykorzystuje okno kontekstowe 8192 tokenów.

Model wytrenowano na 8 bln tokenów przy użyciu JAX i ML Pathways na układach TPU (TPUv5p). Wariant -it przeszedł dostrajanie instrukcyjne (SFT) oraz uczenie ze wzmocnieniem na podstawie informacji zwrotnej od ludzi (RLHF). Wagi udostępniono na licencji Gemma (wymaga akceptacji warunków Google); model można pobrać i uruchomić lokalnie lub w chmurze.