Architektura
Induction Heads
2022BadawczyAktualizacja: 6 maja 2026Opublikowany
Para głowic uwagi w Transformerze realizujaca algorytm dopasowywania wzorca [A][B]...[A]→[B], uznawana za mechanizm uczenia w kontekscie.
Kluczowa
innowacja
Zidentyfikował specyficzny typ głowic uwagi jako mechanistyczne podłoze uczenia w kontekscie (in-context learning) w modelach Transformer, laczac interpretowalnos mechanistyczna z zachowaniem emergentnym.
Kategoria
Architektura
Poziom abstrakcji
Building block
Poziom operacji
WarstwaInferencja
Zastosowania
Mechanistyczna interpretowalnosc TransformerowBadania nad uczeniem w kontekscieAnaliza emergentnych zdolnosci modeliDebugowanie i zrozumienie sieci neuronowych
Jak działa
Głowica indukcji składa sie z dwoch głowic uwagi działajacych sekwencyjnie. Głowica 1 (Q-K-matching) kopuje token poprzedzajacy obecny token do jego reprezentacji. Głowica 2 (induction) uzywa tej skopiowanej informacji, by wzroc uwage na poprzednie wystapienia obecnego tokenu i przewidziec nastepny token na podstawie tego, co nastapowało po nich wczesniej. Mechanizm emerguje w precyzyjnym punkcie szkolenia korelujacym z nabyciem ICL.
Rozwiązany problem
Brak zrozumienia mechanizmow stojacych za zdolnoscia modeli Transformer do uczenia sie w kontekscie (in-context learning) - kluczowa wlasciwoscia emergentna odkryta w GPT-3.
Ewolucja
Oryginalny paper · 2022 · arXiv 2022 · Catherine Olsson
In-context Learning and Induction Heads
Catherine Olsson, Nelson Elhage, Neel Nanda, Nicholas Joseph, Nova DasSarma, Tom Henighan, Ben Mann, Dario Amodei, Chris Olah
2021
A Mathematical Framework for Transformer Circuits (Elhage et al.)
Punkt przełomowy2022
Odkrycie Induction Heads (Olsson et al.)
Punkt przełomowy2023
Rozszerzenie badań na wieksze modele (Nanda et al., Anthropic)