Attention Head
Jak działa
1) Wejściowe reprezentacje tokenów X są rzutowane trzema uczonymi macierzami głowicy: Q = XW^Q, K = XW^K, V = XW^V, każda do wymiaru d_k. 2) Głowica oblicza surowe wyniki podobieństwa QK^T i skaluje je przez 1/√d_k, aby ustabilizować gradienty softmax. 3) Opcjonalna maska (np. przyczynowa w dekoderze) zeruje niedozwolone pozycje. 4) softmax wierszami tworzy wzorzec uwagi — rozkład wag sumujący się do 1. 5) Wagi mnożą wektory wartości V, dając wyjście głowicy (ważona suma wartości). 6) Wyjścia wszystkich h głowic są konkatenowane i rzutowane przez W^O do wymiaru d_model, po czym trafiają do strumienia rezydualnego.
Rozwiązany problem
Pojedynczy mechanizm uwagi uśrednia informacje w jednej podprzestrzeni reprezentacji, co ogranicza jego zdolność do jednoczesnego modelowania wielu różnych typów zależności między tokenami. Rozbicie uwagi na wiele niezależnych głowic pozwala każdej z nich skupić się na innym wzorcu relacji (np. sąsiedztwo pozycyjne, zależności składniowe, koreferencja) bez wzajemnego zakłócania.
Komponenty
Trzy uczone macierze W^Q, W^K, W^V rzutujące reprezentacje tokenów do podprzestrzeni głowicy o wymiarze d_k.
Oficjalna
Rdzeń głowicy: softmax(QK^T/√d_k)V, wytwarzający wzorzec uwagi i ważoną sumę wartości.
Oficjalna
Macierz wag uwagi T×T (po softmax), interpretowana w mechanistycznej analizie jako obwód QK.
Implementacja
Pominięcie skalowania powoduje duże iloczyny skalarne, które wpychają softmax w obszary o znikającym gradiencie.
Nieprawidłowa maska pozwala głowicy zaglądać do przyszłych tokenów, powodując wyciek informacji w treningu autoregresyjnym.
Gdy d_model nie dzieli się przez liczbę głowic, wymiar głowicy jest niecałkowity i kształt tensora się nie zgadza.
Ewolucja
Głowica uwagi zdefiniowana jako niezależna jednostka z własnymi projekcjami Q/K/V (h=8, d_k=64).
Michel i in. pokazują, że wiele głowic można usunąć w czasie inferencji bez istotnej utraty jakości.
Framework Transformer Circuits opisuje głowicę jako niezależną, addytywną operację — podstawa interpretowalności mechanistycznej.
Olsson i in. identyfikują wyspecjalizowane głowice (prefix matching + copying) powiązane z pojawieniem się uczenia w kontekście.
Hiperparametry (konfigurowalne osie)
Wymiar podprzestrzeni Q/K/V pojedynczej głowicy; zwykle d_model/h (np. 64).
Liczba równoległych głowic w warstwie uwagi; określa liczbę niezależnych podprzestrzeni.
Przyczynowe (dekoder, autoregresja) vs dwukierunkowe (enkoder).
Złożoność obliczeniowa
Złożoność czasowa: O(n² · d_k). Złożoność przestrzenna: O(n² + n · d_k).
Wąskie gardło obliczeniowe
Obliczenie i softmax macierzy T×T rośnie kwadratowo z długością sekwencji, co jest głównym ograniczeniem przy długim kontekście.
Paradygmat wykonania
Standardowa głowica jest gęsta — wszystkie pary pozycji są oceniane (przed ewentualnym maskowaniem).
Równoległość
Głowice są od siebie niezależne i liczone równolegle; w treningu również wszystkie pozycje naraz. Autoregresyjna generacja jest sekwencyjna po tokenach.
Wymagania sprzętowe
Operacje QK^T i (softmax)·V to gęste mnożenia macierzy, idealne dla rdzeni tensorowych.
Jednostki macierzowe TPU dobrze obsługują atencję opartą na matmul.