Ocena jakości

LabBench

2026AktywnyOpublikowano: 16 października 2026Aktualizacja: 16 października 2026Opublikowany

Benchmark Gamow Labs złożony z 20 zadań, oceniający rozumowanie eksperymentalne agentów AI — wybór właściwego następnego eksperymentu na podstawie dowodów laboratoryjnych.

Kluczowa innowacja

Benchmark, który przesuwa punkt oceny z interpretacji danych laboratoryjnych na decyzję o kolejnym kroku — sprawdza, czy agent AI potrafi z dowodów eksperymentalnych wywnioskować właściwy następny eksperyment.

Kategoria

Ocena jakości

Poziom abstrakcji

Benchmark

Poziom operacji

Ewaluacja (runtime)

Zastosowania

Ocena agentów AI w autonomicznym planowaniu eksperymentówPomiar rozumowania eksperymentalnego w biologii i laboratorium mokrymPorównywanie modeli i agentów w pętli projektowania eksperymentuBenchmarking systemów wspomagających odkrycia naukowe

Jak działa

Benchmark składa się z 20 zadań o równej wadze. W każdym zadaniu agent otrzymuje dowody laboratoryjne i ma wskazać właściwy następny eksperyment. Odpowiedź jest oceniana według rubryki złożonej z kryteriów; wynikiem zadania jest odsetek zaliczonych kryteriów. Główną metryką zbiorczą jest „mean task score” — średnia z wyników wszystkich 20 zadań. Raportowane są tylko kompletne, w pełni zrecenzowane konfiguracje 20-zadaniowe, a nieprawidłowe wyjścia liczą się jako porażka.

Rozwiązany problem

Czołowe agenty AI potrafią interpretować dane laboratoryjne, ale rzadko trafnie decydują, który eksperyment wykonać jako następny. Istniejące benchmarki naukowe mierzą głównie wiedzę i interpretację, a nie zdolność planowania kolejnego kroku eksperymentalnego. LabBench wypełnia tę lukę, oceniając rozumowanie prowadzące do wyboru następnego eksperymentu.