W fazie dostrajania obliczana jest macierz Grama znormalizowanych cech patchy ucznia (X_S·X_Sᵀ) oraz analogiczna macierz dla „nauczyciela Grama" (wcześniejszy checkpoint o lepszych własnościach gęstych, X_G·X_Gᵀ). Strata L_Gram = ‖X_S·X_Sᵀ − X_G·X_Gᵀ‖²_F dociąga strukturę podobieństw patch-patch ucznia do struktury nauczyciela. Strata ta jest dodawana do łącznej straty dostrajania (obok strat DINO, iBOT i Koleo, z wagą w_Gram), liczona na globalnych wycinkach, a nauczyciel Grama jest okresowo odświeżany do bieżącego nauczyciela EMA.
Podczas długich harmonogramów samonadzorowanego treningu modeli wizyjnych gęste mapy cech (reprezentacje na poziomie pojedynczych patchy) ulegają degradacji, mimo że cechy globalne nadal się poprawiają. Pogarsza to jakość zadań gęstych, takich jak segmentacja semantyczna czy estymacja głębi. Gram anchoring stabilizuje strukturę lokalnych podobieństw, przeciwdziałając tej degradacji.
Macierz P×P wszystkich parami iloczynów skalarnych znormalizowanych (L2) cech patchy. Koduje strukturę lokalnych podobieństw, która jest celem regularyzacji zamiast bezpośrednich wektorów cech.
Wcześniejsza iteracja sieci-nauczyciela wykazująca wyższą spójność cech patch-level. Dostarcza docelowej macierzy Grama; okresowo (co ok. 10 tys. iteracji) odświeżana do bieżącego nauczyciela EMA.
Kwadrat normy Frobeniusa różnicy macierzy Grama ucznia i nauczyciela: L_Gram = ‖X_S·X_Sᵀ − X_G·X_Gᵀ‖²_F. Dodawana z wagą w_Gram do łącznej straty dostrajania obok strat DINO, iBOT i Koleo.
Skuteczność metody zależy od zakotwiczenia w checkpoincie o rzeczywiście lepszych własnościach gęstych. Kotwiczenie w zdegradowanym lub zbyt późnym nauczycielu niweluje korzyść.
Macierz Grama skaluje się jak O(P²) z liczbą patchy, co przy wysokiej rozdzielczości znacząco podnosi koszt obliczeń i pamięci.
Meta AI wprowadza Gram anchoring w DINOv3 jako rozwiązanie degradacji gęstych map cech podczas długiego treningu samonadzorowanego, umożliwiając skalowanie do 7B parametrów i 1,7B obrazów przy zachowaniu wysokiej jakości cech gęstych.
Złożoność czasowa: O(P² · d) na obraz. Złożoność przestrzenna: O(P²) na obraz.
Współczynnik ważący stratę L_Gram w łącznej stracie dostrajania. Kontroluje siłę kotwiczenia struktury podobieństw względem nauczyciela Grama.
Liczba iteracji głównego treningu, po której włączana jest faza dostrajania z Gram anchoring. W DINOv3 ok. 1 mln iteracji.
Co ile iteracji nauczyciel Grama jest odświeżany do bieżącego nauczyciela EMA. W DINOv3 ok. 10 tys. iteracji.
Opcjonalny wariant: nauczyciel Grama otrzymuje obrazy o 2× wyższej rozdzielczości, a mapy cech są redukowane (2×2, interpolacja dwukubiczna) do wymiaru ucznia, dając gładsze reprezentacje patchy.
Obliczenie macierzy Grama (mnożenie macierzy) i normy Frobeniusa jest w pełni równoległe na GPU; technika działa wyłącznie w fazie treningu.
Obliczenie macierzy Grama to gęste mnożenie macierzy, które efektywnie wykorzystuje rdzenie tensorowe GPU; DINOv3 trenowano na dużych klastrach GPU.
