Trening

Gram Anchoring

2025BadawczyOpublikowano: 2 września 2026Aktualizacja: 2 września 2026Opublikowany

Technika treningowa z DINOv3, która regularyzuje macierz Grama cech patchy względem wczesnego nauczyciela, zapobiegając degradacji gęstych map cech podczas długiego treningu samonadzorowanego.

Kluczowa innowacja

Gram anchoring regularyzuje macierz Grama cech patchy modelu-ucznia względem wcześniejszego, „kotwiczącego" nauczyciela o lepszych własnościach gęstych, co po raz pierwszy skutecznie zatrzymuje degradację gęstych map cech podczas długich harmonogramów treningu samonadzorowanego.

Kategoria

Trening

Poziom abstrakcji

Wzorzec

Poziom operacji

Trening

Zastosowania

Trening samonadzorowany modeli wizyjnych (SSL)Uczenie gęstych reprezentacji patch-levelSegmentacja semantycznaEstymacja głębiModele fundamentowe wizji (vision foundation models)

Jak działa

W fazie dostrajania obliczana jest macierz Grama znormalizowanych cech patchy ucznia (X_S·X_Sᵀ) oraz analogiczna macierz dla „nauczyciela Grama" (wcześniejszy checkpoint o lepszych własnościach gęstych, X_G·X_Gᵀ). Strata L_Gram = ‖X_S·X_Sᵀ − X_G·X_Gᵀ‖²_F dociąga strukturę podobieństw patch-patch ucznia do struktury nauczyciela. Strata ta jest dodawana do łącznej straty dostrajania (obok strat DINO, iBOT i Koleo, z wagą w_Gram), liczona na globalnych wycinkach, a nauczyciel Grama jest okresowo odświeżany do bieżącego nauczyciela EMA.

Rozwiązany problem

Podczas długich harmonogramów samonadzorowanego treningu modeli wizyjnych gęste mapy cech (reprezentacje na poziomie pojedynczych patchy) ulegają degradacji, mimo że cechy globalne nadal się poprawiają. Pogarsza to jakość zadań gęstych, takich jak segmentacja semantyczna czy estymacja głębi. Gram anchoring stabilizuje strukturę lokalnych podobieństw, przeciwdziałając tej degradacji.

Komponenty

Macierz Grama cech patchyReprezentacja relacji podobieństwa między patchami

Macierz P×P wszystkich parami iloczynów skalarnych znormalizowanych (L2) cech patchy. Koduje strukturę lokalnych podobieństw, która jest celem regularyzacji zamiast bezpośrednich wektorów cech.

Nauczyciel Grama (Gram teacher)Kotwiczący model referencyjny o lepszych własnościach gęstych

Wcześniejsza iteracja sieci-nauczyciela wykazująca wyższą spójność cech patch-level. Dostarcza docelowej macierzy Grama; okresowo (co ok. 10 tys. iteracji) odświeżana do bieżącego nauczyciela EMA.

Strata Gram anchoring (L_Gram)Człon regularyzacyjny dostrajania

Kwadrat normy Frobeniusa różnicy macierzy Grama ucznia i nauczyciela: L_Gram = ‖X_S·X_Sᵀ − X_G·X_Gᵀ‖²_F. Dodawana z wagą w_Gram do łącznej straty dostrajania obok strat DINO, iBOT i Koleo.

Implementacja

Implementacje referencyjne

facebookresearch/dinov3

Python · Meta AI Research (FAIR)

Oficjalna

Pułapki implementacyjne

Nieodpowiedni wybór nauczyciela GramaWysoka

Skuteczność metody zależy od zakotwiczenia w checkpoincie o rzeczywiście lepszych własnościach gęstych. Kotwiczenie w zdegradowanym lub zbyt późnym nauczycielu niweluje korzyść.

Rozwiązanie:Wybieraj wczesną iterację nauczyciela o wysokiej spójności patch-level i odświeżaj ją okresowo (np. co ~10 tys. iteracji) do bieżącego nauczyciela EMA.

Kwadratowy koszt macierzy GramaŚrednia

Macierz Grama skaluje się jak O(P²) z liczbą patchy, co przy wysokiej rozdzielczości znacząco podnosi koszt obliczeń i pamięci.

Rozwiązanie:Licz stratę tylko na globalnych wycinkach; w wariancie wysokorozdzielczym redukuj mapy cech nauczyciela (down-sampling 2×2, interpolacja dwukubiczna) do wymiaru ucznia.

Ewolucja

Oryginalny paper · 2025 · arXiv preprint (cs.CV) · Oriane Siméoni

DINOv3

Oriane Siméoni, Huy V. Vo, Maximilian Seitzer, Federico Baldassarre, Maxime Oquab, Cijo Jose, Vasil Khalidov, Marc Szafraniec, Seungeun Yi, Michaël Ramamonjisoa, Francisco Massa, Daniel Haziza, Luca Wehrstedt, Jianyuan Wang, Timothée Darcet, Théo Moutakanni, Leonel Sentana, Claire Roberts, Andrea Vedaldi, Jamie Tolan, John Brandt, Camille Couprie, Julien Mairal, Hervé Jégou, Patrick Labatut, Piotr Bojanowski

2025

Wprowadzenie Gram anchoring w DINOv3 (Meta AI)

Punkt przełomowy

Meta AI wprowadza Gram anchoring w DINOv3 jako rozwiązanie degradacji gęstych map cech podczas długiego treningu samonadzorowanego, umożliwiając skalowanie do 7B parametrów i 1,7B obrazów przy zachowaniu wysokiej jakości cech gęstych.

DINOv3 (artykuł)

Hiperparametry (konfigurowalne osie)

Waga straty Gram anchoringWysoka

Współczynnik ważący stratę L_Gram w łącznej stracie dostrajania. Kontroluje siłę kotwiczenia struktury podobieństw względem nauczyciela Grama.

Moment włączenia (iteracja)Wysoka

Liczba iteracji głównego treningu, po której włączana jest faza dostrajania z Gram anchoring. W DINOv3 ok. 1 mln iteracji.

~1,000,000DINOv3

Interwał odświeżania nauczyciela GramaŚrednia

Co ile iteracji nauczyciel Grama jest odświeżany do bieżącego nauczyciela EMA. W DINOv3 ok. 10 tys. iteracji.

~10,000DINOv3

Nauczyciel Grama w wysokiej rozdzielczościŚrednia

Opcjonalny wariant: nauczyciel Grama otrzymuje obrazy o 2× wyższej rozdzielczości, a mapy cech są redukowane (2×2, interpolacja dwukubiczna) do wymiaru ucznia, dając gładsze reprezentacje patchy.