Badacze z Politechniki Pekińskiej opublikowali na konferencji ICML 2026 pracę "Taming I2V models for Image HOI Editing: A Cognitive Benchmark and Agentic Self-Correcting Framework", w której wprowadzają trzy uzupełniające się narzędzia służące ocenie i poprawie działania modeli edycji obrazu w złożonych scenariuszach człowiek–obiekt. Kod i dane są już publicznie dostępne.
Najważniejsze w skrócie
- HOI-Edit to hierarchiczny zbiór 705 przykładów podzielonych na trzy poziomy trudności: podstawowe relacje, rozumienie przestrzenne i rozumowanie przyczynowo-fizyczne
- HOI-Eval — nowa metryka oceny oparta na grounding — koreluje z oceną ludzką na poziomie 0.60 (Interaction), podczas gdy CLIP zatrzymuje się na braku mierzalnej korelacji
- SCPE podnosi skuteczność modelu Wan 2.2 I2V o 22% na zadaniach L1, 26% na L2 i 22% na L3 w porównaniu do wersji bazowej
- Framework SCPE składa się z czterech agentów (Generator, Analyzer, Reflector, Curator) i wykorzystuje wideo generowane przez model I2V jako źródło sygnału zwrotnego
- Wyniki uogólniają się na inne konfiguracje: po podmianie modelu oceniającego na Qwen lub dodaniu szybszego diffusora TurboDiffusion trendy wyników pozostają stabilne
Czym jest HOI-Edit i dlaczego dotychczasowe benchmarki nie wystarczały
Edycja obrazu z człowiekiem i obiektem w tle to jeden z trudniejszych testów dla generatywnych modeli wizyjnych. Polecenie „podaj kubek kobiecie" wymaga od modelu nie tylko zmiany kilku pikseli, ale też zrozumienia tożsamości postaci, fizycznej ścieżki ruchu i logiki zdarzenia. Dotychczasowe benchmarki oceniały, czy wynik "wygląda podobnie" do oryginału — pomijając, czy akcja rzeczywiście się odbyła.
HOI-Edit wprowadza trzy poziomy oceny poznawczej. L1 (357 przykładów) obejmuje podstawowe relacje: tworzenie, usuwanie i modyfikację interakcji. L2 (202 przykłady) sprawdza, czy model rozumie kontekst przestrzenny — np. czy umieszcza przetransportowany obiekt we właściwym miejscu. L3 (146 przykładów) idzie najdalej i wymaga rozumowania przyczynowego: model musi najpierw wykonać niezbędne czynności wstępne (otworzyć drzwi zanim ktoś przez nie przejdzie), a dopiero potem wygenerować docelowy wynik.
Dane zbierane były za pomocą wieloetapowego procesu: projektowanie instrukcji uwzględniających kontekst, systematyczne oznaczanie regionów przez SAM 2, wielowariantowe budowanie pytań, a następnie weryfikacja tożsamości postaci.
HOI-Eval: ocena przez pytanie, a nie piksel
Standardowe metryki jak CLIPScore czy DINOv2 mierzą globalne podobieństwo między obrazami — i właśnie to jest ich słabością w zadaniach HOI. Podobieństwo pikselowe nie gwarantuje, że interakcja faktycznie nastąpiła.
HOI-Eval zmienia podejście na oparte o grounding: po edycji system wyznacza obszary docelowe w zmienionej grafice, weryfikuje, czy tożsamość postaci i obiektu jest zachowana, a następnie zadaje konkretne pytania dotyczące samej interakcji (czy ruch nastąpił, czy pozycja jest prawidłowa, czy sekwencja jest fizycznie możliwa).
Porównanie z metodami alternatywnymi mówi samo za siebie. Na osi korelacji z oceną ludzką (Pearson Pr): DINOv2 osiąga 0.035 dla postaci i 0.172 dla obiektu — bez mierzalnej korelacji dla interakcji. CLIP: 0.253 dla postaci, –0.027 dla obiektu. HOI-Eval: 0.43, 0.47 i 0.60 odpowiednio — wszystkie statystycznie istotne (p < 0.01). Wynik dla wymiaru Interaction (0.60) jest szczególnie istotny, bo to właśnie on był do tej pory najtrudniejszy do mierzenia automatycznie.
SCPE: agent uczy się na filmie, nie na klatce końcowej
Kluczową innowacją SCPE (Self-Correcting Process Editing) jest zmiana źródła sygnału zwrotnego. Modele I2V (image-to-video), takie jak Wan 2.2, generują film pokazujący cały proces od zbliżenia do celu po finalne ułożenie — nie tylko ostatnią klatkę. SCPE traktuje to wideo jako dziennik diagnostyczny.
Framework składa się z czterech agentów działających w pętli: Generator buduje szczegółowy prompt i generuje wideo, Analyzer wyodrębnia przyczynę niepowodzenia z trajektorii, Reflector przekształca poszczególne przypadki w ogólne reguły, Curator zapisuje je do "playbooka" — zbioru doświadczeń wielokrotnego użytku. Przy kolejnej próbie Generator konsultuje playbook i unika powtarzania znanych błędów.
Eksperyment ablacyjny pokazuje, jak każdy komponent wpływa na wynik. Sama podmiana standardowego Prompt Enhancera na Oficjalny (OPE) podnosi interaktywność z 0.68 do 0.70 — ale obniża IDS (spójność tożsamości) z 0.85 do 0.74. Usunięcie playbooka cofa I do 0.76, IDS wraca do 0.88. Pełne SCPE osiąga I=0.82, IDS=0.90.
Wyniki na zbiorze HOI-Edit potwierdzają skuteczność: względem bazowego Wan 2.2 I2V przyrosty to odpowiednio +22% na L1 (podstawowe interakcje), +26% na L2 (relacje przestrzenne) i +22% na L3 (łańcuchy przyczynowe). Model przekracza dostępne open-source'owe linie bazowe we wszystkich kategoriach.
Dlaczego to ważne?
Mierzenie "jak dobrze model zmienił obrazek" jest z technicznego punktu widzenia łatwe. Mierzenie "czy model rozumie co robi" — czyli czy scena jest fizycznie spójna, czy postaci zachowują tożsamość, czy sekwencja akcji ma sens — to zupełnie inne wyzwanie. HOI-Edit, HOI-Eval i SCPE podejmują je jako całość.
Szczególnie wartościowe jest przesunięcie diagnostyki z obrazu końcowego na proces wideo. Kiedy model ma na przykład chwycić obiekt leżący za innym przedmiotem, a zamiast tego wyciąga rękę przez ścianę — ta informacja jest widoczna w trajektorii wideo, a nie w finalnej klatce. SCPE zbiera te informacje i zamienia je w reguły możliwe do wielokrotnego użycia. To podejście zbliżone do sposobu, w jaki uczą się ludzie: przez korygowanie błędów w toku działania, nie przez poprawianie gotowego rezultatu.
Ważna jest też niezależność wyników od konkretnego backendu. Zamiana modelu oceniającego na Qwen czy podmiana diffusora na TurboDiffusion nie psuje trendów — co sugeruje, że framework można stosować szerzej.
Co dalej?
Kod, dane HOI-Edit oraz wagi są już dostępne publicznie (GitHub: oceanflowlab/HOI-Edit), więc niezależne replikacje i rozszerzenia benchmarku mogą pojawić się szybko
Papier jest przyjęty na ICML 2026 — po konferencji spodziewać się można dyskusji o rozszerzeniu HOI-Eval na zadania wideo-do-wideo, nie tylko obraz-do-wideo
Zidentyfikowane ograniczenie: pula 705 przykładów jest relatywnie mała; autorzy wskazują na potrzebę rozszerzenia zbioru o bardziej złożone scenariusze wieloosobowe i dłuższe łańcuchy akcji
Źródła
arXiv — Taming I2V models for Image HOI Editing: A Cognitive Benchmark and Agentic Self-Correcting Framework
GitHub oceanflowlab — HOI-Edit repository
