SDBench
Jak działa
Agent diagnostyczny otrzymuje krótkie streszczenie przypadku i w pętli decyduje, o jakie informacje dopytać, jakie badania zlecić i kiedy postawić ostateczną diagnozę. Informacje ujawnia Gatekeeper — model językowy pełniący rolę wyroczni przypadku, który podaje konkretne ustalenia tylko na jawne zapytanie i potrafi syntetyzować spójne z przypadkiem wyniki badań nieopisanych w oryginalnej narracji CPC. Po zgłoszeniu ostatecznej diagnozy Judge (model o3) ocenia ją według rubryki obejmującej m.in. kluczową jednostkę chorobową, etiologię, umiejscowienie anatomiczne, swoistość i kompletność, w skali 5-punktowej (próg poprawności ≥4). Równolegle Estymator kosztów sumuje koszt zleconych badań powiększony o stały koszt wizyty lekarskiej (300 USD). Agent oceniany jest jednocześnie pod kątem trafności i łącznego kosztu badań.
Rozwiązany problem
Większość ewaluacji modeli językowych w medycynie opiera się na statycznych winietach i pytaniach wielokrotnego wyboru, które nie oddają złożoności medycyny opartej na dowodach. W praktyce lekarz iteracyjnie formułuje i weryfikuje hipotezy, dopasowując kolejne pytania i badania do nowo uzyskanych informacji oraz ważąc koszt postępowania. SDBench odwzorowuje ten sekwencyjny proces i wprowadza wymiar kosztu, którego statyczne benchmarki nie uwzględniają.
Komponenty
Model językowy pełniący rolę wyroczni przypadku. Ujawnia konkretne ustalenia kliniczne wyłącznie na jawne zapytanie i potrafi syntetyzować spójne z przypadkiem wyniki badań nieopisanych w oryginalnej narracji CPC.
Agent oceniający, zaimplementowany na modelu o3 z opracowaną przez lekarzy rubryką. Ocenia diagnozę pod kątem kluczowej jednostki chorobowej, etiologii, umiejscowienia anatomicznego, swoistości i kompletności w 5-punktowej skali Likerta; próg poprawności to ocena ≥4.
Komponent sumujący koszt wszystkich zleconych badań (w USD) powiększony o stały koszt wizyty lekarskiej wynoszący 300 USD. Koszt jest drugorzędną metryką benchmarku, obok trafności diagnozy.
Implementacja
Gatekeeper nie może ujawniać ustaleń, o które nie zapytano, ani sugerować ostatecznej diagnozy; konieczne jest usunięcie z oryginalnego opisu wskazówek zdradzających rozpoznanie przy zachowaniu realizmu klinicznego.
Ocena trafności opiera się na sędzim zbudowanym na modelu o3; w pracy zwalidowano go, zlecając lekarzom niezależną ocenę diagnoz ze zbioru testowego.
Ewolucja
Publikacja benchmarku na 304 przypadkach NEJM-CPC wraz z orkiestratorem MAI-DxO, który w parze z o3 osiągnął 80% trafności (85,5% w trybie maksymalnej trafności) przy niższym koszcie niż lekarze.
Równoległość
Benchmark z założenia wymusza proces sekwencyjny: każde kolejne pytanie i badanie zależy od wcześniej ujawnionych informacji, aż do postawienia ostatecznej diagnozy.