Głowica indukcji składa sie z dwoch głowic uwagi działajacych sekwencyjnie. Głowica 1 (Q-K-matching) kopuje token poprzedzajacy obecny token do jego reprezentacji. Głowica 2 (induction) uzywa tej skopiowanej informacji, by wzroc uwage na poprzednie wystapienia obecnego tokenu i przewidziec nastepny token na podstawie tego, co nastapowało po nich wczesniej. Mechanizm emerguje w precyzyjnym punkcie szkolenia korelujacym z nabyciem ICL.
Brak zrozumienia mechanizmow stojacych za zdolnoscia modeli Transformer do uczenia sie w kontekscie (in-context learning) - kluczowa wlasciwoscia emergentna odkryta w GPT-3.
Induction heads są zidentyfikowane przez aktywacje attention — bez narzędzi jak TransformerLens lub circuity activation patching ich lokalizacja w konkretnym modelu jest niepewna.
Duże modele mają setki głowic uwagi pełniących różne funkcje. Błędna klasyfikacja głowic jako induction heads prowadzi do błędnych wniosków o zdolnościach modelu.
