DrivingBench

DrivingBench to otwarty projekt badawczy i benchmark, który sprawdza, czy czołowe, ogólnego przeznaczenia modele językowe (LLM) potrafią prowadzić prawdziwy samochód. W teście model przejmuje kontrolę nad kierownicą, gazem i hamulcem samochodu (Toyota Corolla z rocznika 2022 wyposażona w urządzenie Comma Four podłączone do magistrali CAN przez OBD-C) na wyznaczonym torze z pachołków o długości ok. 130 m w parkingu w rejonie Bay Area w Kalifornii. Model otrzymuje klatki z kamery i telemetrię, a polecenia jazdy wydaje przez trzy narzędzia MCP: observe(), set_motion() i stop_now(). Postęp mierzony jest jako procent dystansu wzdłuż osi toru przy utrzymaniu się w promieniu 4 m od niej. Każdy przebieg jest nagrywany jako odtwarzalny ślad (trace), a wyniki (procent postępu, dystans, czas, zużycie tokenów) trafiają na publiczną tablicę wyników. Projekt powstał w 2026 roku, jego kod jest udostępniony na licencji MIT, a twórcy podkreślają, że nie są powiązani ani wspierani przez comma.ai, openpilot, Toyotę ani twórców testowanych modeli i aplikacji.