Microsoft opublikował w czwartek w „Science” wyniki systemu MAI-DxO, zwanego też Diagnostic Orchestrator. Narzędzie koordynuje kilku agentów AI działających jak panel lekarzy: dopytują pacjenta, zlecają badania, spierają się o rozpoznanie. Na złożonych przypadkach z „New England Journal of Medicine” trafiło w 83 procentach, lekarze ogólni pracujący indywidualnie — w 36.
Najważniejsze w skrócie
- 83 proc. trafności na przypadkach z NEJM wobec 36 proc. u lekarzy z materiałami i 22 proc. bez nich
- 80 proc. wobec 47 proc. na przypadkach z izby przyjęć ze szpitala Beth Israel Deaconess
- Najlepsze wyniki z GPT-5 i GPT-5.5, testowano też modele Google, Anthropic, Meta i DeepSeek
- Gemini 2.5 Flash: 46,4 proc. samodzielnie, blisko 69 proc. z orkiestracją
- Benchmark SDBench ma zostać otwarty
Orkiestracja pomaga najbardziej słabszym modelom
Dane z badania pokazują, że większość poprawy bierze się z mocy modelu bazowego, a orkiestracja dokłada resztę. GPT-5 z podstawowym promptem uzyskał 78,9 proc. na trudnych przypadkach przy koszcie około 8400 dolarów (ok. 31 tys. zł) za przypadek. DxO obniżył ten koszt o blisko 3000 dolarów, ale trafność podniósł o cztery punkty.
Z nowszym GPT-5.5 wyniki się rozeszły. Na złożonych przypadkach orkiestracja podniosła skuteczność z 72 do niemal 87 procent, i to taniej. Na przypadkach z izby przyjęć różnicy praktycznie nie było — oba warianty dały około 85 procent. Największy skok dotyczył modeli słabszych, co badacze tłumaczą naturalnym wysycaniem się zysków przy zbliżaniu się do maksimum.
| Model | Bez orkiestracji | Z DxO |
|---|---|---|
| GPT-5 | 78,9 proc. | o ok. 4 pkt więcej, taniej o ok. 3000 USD |
| GPT-5.5 | 72 proc. | blisko 87 proc. |
| Gemini 2.5 Flash | 46,4 proc. | blisko 69 proc. |
Przypadki tej klasy prowadzą w praktyce specjaliści albo zespoły lekarskie, a tych w porównaniu nie było. Microsoft zestawił system z lekarzami pierwszego kontaktu i internistami pracującymi pojedynczo. Firma dołącza do Google i OpenAI, które wcześniej ogłosiły, że ich modele dorównują lekarzom lub ich przewyższają.
Dlaczego to ważne?
Wynik mierzy coś węższego, niż sugeruje hasło „medyczna superinteligencja”. Orkiestracja wygląda tu raczej na optymalizator kosztu niż na źródło nowej zdolności diagnostycznej — przy mocnym modelu i prostszych przypadkach jej wkład znika. Otwarty benchmark SDBench będzie ważniejszy od samego procenta, bo pozwoli powtórzyć ten eksperyment niezależnie. Bez tego pozostaje porównanie dobrane przez producenta, a najciekawsze pytanie — jak system radzi sobie wobec zespołu specjalistów — nadal nie ma odpowiedzi.
Co dalej?
- Microsoft trenuje z Mayo Clinic model fundamentowy dla ochrony zdrowia, premiera zapowiedziana na przyszły rok
- SDBench ma zostać udostępniony jako otwarty benchmark
- Suleyman zapowiada na 2027 rok strumieniowe przewidywanie przebiegu dokumentacji medycznej
