Blueprint-Bench

Blueprint-Bench to benchmark stworzony przez Andon Labs, który mierzy zdolność modeli AI do rozumienia przestrzennego na podstawie planów i rzutów (blueprintów). Modele muszą interpretować schematy, odczytywać układ pomieszczeń i relacje przestrzenne oraz wyciągać z nich poprawne wnioski.

Zadanie to jest trudne dla modeli językowo-wizyjnych, bo wymaga łączenia percepcji obrazu z rozumowaniem geometrycznym i przestrzennym. Andon Labs rozwinął benchmark w wersję Blueprint-Bench 2.