Robocikowo>ROBOCIKOWO
Ocena jakości

RareBench

2026AktywnyOpublikowano: 16 października 2026Aktualizacja: 16 października 2026Opublikowany
122-przypadkowy benchmark Gamow Labs oceniający, jak dobrze agentowe systemy AI znajdują wariant sprawczy genetycznej choroby rzadkiej na podstawie fenotypu i genomu.
Kluczowa innowacja
Pierwszy benchmark mierzący zdolność agentowych systemów AI do wskazania wariantu sprawczego w genetycznych chorobach rzadkich na podstawie fenotypu i pełnego genomu pacjenta, z weryfikowalną prawdą gruntową i metryką top-k recall.
Kategoria
Ocena jakości
Poziom abstrakcji
System
Poziom operacji
Środowisko agentoweSystemInferencja
Zastosowania
Ocena agentowych systemów AI w interpretacji wariantów genomowychPorównywanie modeli czołowych pod kątem diagnostyki genetycznych chorób rzadkichOptymalizacja agenta diagnostycznego (np. George-0.1 Gamow Labs)Analiza stosunku skuteczności diagnostycznej do kosztu modeliReanaliza nierozwiązanych przypadków chorób rzadkich

Jak działa

Każdy z 122 przypadków dostarcza fenotyp pacjenta oraz jego genom; oceniany system AI (zwykle agent wykonujący wiele wywołań narzędzi) ma zwrócić uszeregowaną listę wariantów-kandydatów. Scoring opiera się na top-k causal recall: sprawdza się, czy poprawny wariant sprawczy znajduje się wśród pierwszych K uszeregowanych wyników, gdzie K to liczba wymaganych wariantów dla danego przypadku. Raportowane są Rank@1 (wiodące rozpoznanie), Rank@3 (causal recall) oraz pełny causal recall (wszystkie wymagane warianty w top-K). Osobno śledzi się przypadki, w których system znalazł właściwy wariant, lecz nie uszeregował go wystarczająco wysoko (detekcja poniżej progu top-k), odróżniając je od całkowitych pudeł — co rozdziela dwa tryby błędu: pominięcie właściwej biologii vs. zła priorytetyzacja. Przedziały ufności podaje się jako 95% przedziały Wilsona; niepoprawne wyjścia liczą się jako porażki.

Rozwiązany problem

Około 30% noworodków z podejrzeniem choroby rzadkiej otrzymuje rozpoznanie; interpretacja genomu jest trudna i czasochłonna. Brakowało wystandaryzowanej, weryfikowalnej metryki pozwalającej mierzyć, czy agentowe systemy AI faktycznie poprawiają się w zadaniu znajdowania wariantu sprawczego choroby rzadkiej.

Komponenty

Zbiór 122 przypadkówDane wejściowe benchmarku

122 przypadki chorób rzadkich; każdy zawiera fenotyp pacjenta oraz jego genom.

Klucz prawdy gruntowejWeryfikacja odpowiedzi

Znany wariant sprawczy / rozpoznanie dla każdego przypadku, co czyni zadanie weryfikowalnym.

Framework scoringu top-k causal recallMetryka oceny

Klasyfikuje wynik jako top-k recall, detekcję poniżej progu top-k, lub pudło; raportuje Rank@1 i Rank@3 z 95% przedziałami Wilsona.

Ewolucja

Oryginalny paper · 2026 · Gamow Labs · Daniel McKinnon
RareBench 0.1: Benchmarking agentic AI for rare disease diagnosis
Daniel McKinnon
2026
Publikacja RareBench 0.1
Punkt przełomowy

Gamow Labs publikuje RareBench 0.1 — 122-przypadkowy benchmark agentowej diagnostyki genetycznych chorób rzadkich wraz z publiczną tablicą wyników modeli czołowych.

Hiperparametry (konfigurowalne osie)

Metryka (Rank@K)Wysoka

Wariant metryki: Rank@1 (wiodące rozpoznanie), Rank@3 (causal recall) lub pełny causal recall.

Próg top-k (K)Wysoka

K to liczba wymaganych wariantów dla danego przypadku; wyznacza próg uszeregowania uznawany za trafienie.