RareBench
Jak działa
Każdy z 122 przypadków dostarcza fenotyp pacjenta oraz jego genom; oceniany system AI (zwykle agent wykonujący wiele wywołań narzędzi) ma zwrócić uszeregowaną listę wariantów-kandydatów. Scoring opiera się na top-k causal recall: sprawdza się, czy poprawny wariant sprawczy znajduje się wśród pierwszych K uszeregowanych wyników, gdzie K to liczba wymaganych wariantów dla danego przypadku. Raportowane są Rank@1 (wiodące rozpoznanie), Rank@3 (causal recall) oraz pełny causal recall (wszystkie wymagane warianty w top-K). Osobno śledzi się przypadki, w których system znalazł właściwy wariant, lecz nie uszeregował go wystarczająco wysoko (detekcja poniżej progu top-k), odróżniając je od całkowitych pudeł — co rozdziela dwa tryby błędu: pominięcie właściwej biologii vs. zła priorytetyzacja. Przedziały ufności podaje się jako 95% przedziały Wilsona; niepoprawne wyjścia liczą się jako porażki.
Rozwiązany problem
Około 30% noworodków z podejrzeniem choroby rzadkiej otrzymuje rozpoznanie; interpretacja genomu jest trudna i czasochłonna. Brakowało wystandaryzowanej, weryfikowalnej metryki pozwalającej mierzyć, czy agentowe systemy AI faktycznie poprawiają się w zadaniu znajdowania wariantu sprawczego choroby rzadkiej.
Komponenty
122 przypadki chorób rzadkich; każdy zawiera fenotyp pacjenta oraz jego genom.
Znany wariant sprawczy / rozpoznanie dla każdego przypadku, co czyni zadanie weryfikowalnym.
Klasyfikuje wynik jako top-k recall, detekcję poniżej progu top-k, lub pudło; raportuje Rank@1 i Rank@3 z 95% przedziałami Wilsona.
Implementacja
Ewolucja
Gamow Labs publikuje RareBench 0.1 — 122-przypadkowy benchmark agentowej diagnostyki genetycznych chorób rzadkich wraz z publiczną tablicą wyników modeli czołowych.
Hiperparametry (konfigurowalne osie)
Wariant metryki: Rank@1 (wiodące rozpoznanie), Rank@3 (causal recall) lub pełny causal recall.
K to liczba wymaganych wariantów dla danego przypadku; wyznacza próg uszeregowania uznawany za trafienie.