HyperEyes

HyperEyes to równoległy agentowy model multimodalny opracowany przez Xiaohongshu (rednote-hilab) oraz University of Cambridge. Rozwiązuje fundamentalny problem istniejących agentów multimodalnych: tzw. "N-run bottleneck", polegający na sekwencyjnym wywoływaniu narzędzi po jednej encji naraz. Dla zapytań wymagających przetworzenia wielu niezależnych encji (np. sześciu osób na zdjęciu) prowadzi to do narastającej liczby rund, rosnącego zużycia tokenów i skumulowanego ryzyka błędów.

Centralną innowacją jest UGS (Unified Grounded Search) — atomowa akcja łącząca visual grounding z pobieraniem danych dla wszystkich encji docelowych w jednym kroku. Zamiast strategii "search deeper" (więcej sekwencyjnych rund), HyperEyes stosuje "search wider": pojedyncze wywołanie obejmuje wszystkie encje równocześnie.

Trening przebiega dwuetapowo: (1) cold-start przez Parallel-Amenable Data Synthesis Pipeline z Progressive Rejection Sampling, (2) Dual-Grained Efficiency-Aware Reinforcement Learning. Komponent TRACE (Tool-use Reference-Adaptive Cost Efficiency) działa na poziomie trajektorii — nagradza poprawne odpowiedzi z karą proporcjonalną do liczby kroków narzędziowych, a próg efektywności jest monotoniczne zaostrzany przez kolejne epoki treningowe. Komponent OPD (On-Policy Distillation) działa na poziomie tokenów — aktywuje się wyłącznie dla nieudanych trajektorii, wstrzykując gęsty sygnał korekcyjny z nauczyciela 235B przez dywergencję KL.

Autorzy wprowadzili też IMEB (Image Multi-Entity Benchmark) — 300 ręcznie zebranych instancji z dziedzin humanistycznych i ścisłych, każda wymagająca jednoczesnej identyfikacji wielu encji z obrazu. Na tym benchmarku HyperEyes-30B przewyższa drugi najlepszy model o 64,0%. Metryka CAS (Companion Assessment Standard) mierzy stosunek użytecznych informacji do kosztu obliczeniowego; HyperEyes-30B osiąga 7,6× lepszą efektywność informacyjną od modeli sekwencyjnych.