Robocikowo>ROBOCIKOWO
Obsługa wielu formatów danych

PVS

AktywnyOpublikowano: 31 lipca 2026Aktualizacja: 31 lipca 2026Opublikowany
Zadanie/paradygmat: segmentacja obiektow na podstawie podpowiedzi (punkty, ramki, maski) w obrazach i wideo, z propagacja masek w czasie. Podstawa modeli SAM / SAM 2.
Kluczowa innowacja
Uogolnienie promptowalnej segmentacji z obrazow na wideo: model przyjmuje podpowiedzi (punkty, ramki, maski) na dowolnej klatce i zwraca oraz propaguje maski obiektow w czasie, laczac segmentacje z ich sledzeniem.
Kategoria
Obsługa wielu formatów danych
Poziom abstrakcji
Paradygmat
Poziom operacji
ModelInferencja
Zastosowania
Anotacja danych (obrazy i wideo)Edycja i post-produkcja wideoPercepcja i manipulacja robotowSegmentacja medyczna i naukowaInteraktywne narzedzia wizji komputerowej

Jak działa

1) Enkoder obrazu (np. hierarchiczny ViT) koduje klatke. 2) Uzytkownik podaje podpowiedz (punkt, ramka, maska) na wybranej klatce. 3) Dekoder masek generuje maske wskazanego obiektu. 4) W wideo modul pamieci strumieniowej przechowuje cechy obiektu i propaguje maske na kolejne klatki, umozliwiajac korekty dodatkowymi podpowiedziami.

Rozwiązany problem

Klasyczna segmentacja wymaga trenowania pod konkretne klasy obiektow i osobnych modeli do sledzenia. PVS pozwala interaktywnie wyodrebnic dowolny obiekt (zero-shot) i sledzic go w wideo jednym, zunifikowanym modelem.

Komponenty

Enkoder obrazuEkstrakcja cech

Koduje klatke do reprezentacji cech (np. hierarchiczny ViT Hiera).

Oficjalna

Enkoder podpowiedziInterfejs podpowiedzi

Koduje podpowiedzi (punkty, ramki, maski) uzytkownika.

Oficjalna

Dekoder masekWyjscie segmentacji

Generuje maske pikselowa wskazanego obiektu.

Pamiec strumieniowaSledzenie w czasie

Przechowuje cechy obiektu miedzy klatkami i propaguje maski w wideo.

Oficjalna

Implementacja

Implementacje referencyjne
SAM 2 (facebookresearch/sam2)
Meta FAIR
Oficjalna
Pułapki implementacyjne
Utrata sledzenia przy przeslonachŚrednia

Dlugie przeslony lub szybkie zmiany wygladu moga powodowac utrate obiektu.

Rozwiązanie:Dodatkowe podpowiedzi korygujace, dluzsza pamiec, wieksze enkodery.
Koszt przy wielu obiektachŚrednia

Segmentacja i sledzenie wielu obiektow rownoczesnie zwieksza koszt obliczeniowy.

Rozwiązanie:Mniejsze enkodery, ograniczenie liczby obiektow, batchowanie.

Ewolucja

2023
SAM - promptowalna segmentacja obrazow
Punkt przełomowy

Meta wprowadza Segment Anything Model (SAM) i zadanie promptowalnej segmentacji dla obrazow (zero-shot).

2024
SAM 2 - PVS dla wideo
Punkt przełomowy

SAM 2 uogolnia PVS na wideo z pamiecia strumieniowa, laczac segmentacje i sledzenie w czasie rzeczywistym.

Hiperparametry (konfigurowalne osie)

Typ podpowiedziWysoka

Punkty, ramki lub maski jako wejscie interaktywne.

Rozmiar enkoderaWysoka

Wieksze enkodery (np. Hiera-L) daja wyzsza jakosc kosztem szybkosci.

Dlugosc pamieci sledzeniaŚrednia

Ile poprzednich klatek/obiektow pamieta model.

Złożoność obliczeniowa

Złożoność czasowa: ~O(1) na klatke (przetwarzanie strumieniowe). Złożoność przestrzenna: O(bank pamieci + cechy klatki).

Wąskie gardło obliczeniowe

Enkoder obrazu i pamiec sledzenia

Przepustowosc ogranicza koszt enkodera obrazu na klatke oraz rozmiar/obsluga banku pamieci przy dlugich sekwencjach i wielu obiektach.

Zależy od
Koszt enkodera na klatkeDlugosc sekwencji / liczba obiektow

Paradygmat wykonania

Tryb główny
Warunkowy

Wynik zalezy od podanych podpowiedzi i klatki.

Wzorzec aktywacji
Zależne od wejścia
Mechanizm routingu

Równoległość

Poziom równoległości
Częściowo równoległy

Segmentacja pojedynczej klatki jest rownolegla; propagacja w wideo jest sekwencyjna.

Zakres
Inferencja
Ograniczenia
!Propagacja masek zalezy od poprzednich klatek (pamiec).

Wymagania sprzętowe

Podstawowe

Enkoder ViT i inferencja na klatke korzystaja z akceleratorow GPU; mniejsze warianty dzialaja tez na slabszym sprzecie.