V-JEPA

V-JEPA (Video Joint-Embedding Predictive Architecture) to samonadzorowana metoda uczenia reprezentacji wizualnych z wideo, opracowana w Meta FAIR. Praca "Revisiting Feature Prediction for Learning Visual Representations from Video" (arXiv:2404.08471) opublikowana 15 lutego 2024. Autorzy: Adrien Bardes, Quentin Garrido, Jean Ponce, Xinlei Chen, Michael Rabbat, Yann LeCun, Mahmoud Assran, Nicolas Ballas.

V-JEPA jest trenowany wyłącznie z celem przewidywania cech (feature prediction): bez wstępnie wytrenowanych enkoderów obrazu, bez tekstu, bez negatywnych przykładów i bez rekonstrukcji pikseli. To rozszerzenie podejścia I-JEPA z 2023 roku na domenę wideo i kluczowy poprzednik V-JEPA 2.

Architektura i dane

Backbone Vision Transformer (ViT-L i ViT-H/16). Pretrening na zbiorze 2 milionów filmów (VideoMix2M) zebranych z publicznych zbiorów danych wideo. Reprezentacje są oceniane na zadaniach downstream zarówno na obrazie, jak i wideo, bez dostrajania parametrów modelu (frozen backbone).

Wyniki

Największy model ViT-H/16 trenowany wyłącznie na wideo osiąga: 81,9% (top-1) na Kinetics-400, 72,2% na Something-Something v2 oraz 77,9% na ImageNet-1K — z zamrożonym backbone'em. Wskazuje to, że uczenie przez przewidywanie cech wideo daje wszechstronne reprezentacje wizualne dla zadań ruchowych i wyglądowych.

Pozycja w rodzinie JEPA

V-JEPA jest pierwszym modelem rodziny JEPA wytrenowanym na wideo, następcą I-JEPA (2023) i bezpośrednim poprzednikiem V-JEPA 2 (2025), który skaluje podejście do ponad 1 mln godzin wideo i dodaje wariant action-conditioned do planowania robotycznego.