Ocena jakości

Model Cards

Kluczowa innowacja

Wprowadzenie ustandaryzowanego, krótki dokumentu towarzyszącego wytrenowanemu modelowi ML, który obowiązkowo raportuje wyniki benchmarków z dezagregacją po grupach demograficznych, środowiskowych i technicznych, umożliwiając wykrywanie stronniczości i zapobieganie nadużywaniu modelu.

Kategoria

Ocena jakości

Poziom abstrakcji

Pattern

Poziom operacji

UdostępnianieInferencja

Zastosowania

Dokumentacja modeli ML w organizacjachAudyt AI i zgodność regulacyjna (EU AI Act)Porównywanie modeli przez deweloperów i badaczyTransparentność w deploymencie modeli komercyjnychStandardy Hugging Face i Google dla publicznych modeli

Jak działa

Model Card to ustrukturyzowany dokument towarzyszący modelowi, zawierający: opis przeznaczenia, dane treningowe, metryki wydajności z podziałem na grupy demograficzne, znane ograniczenia i zagrożenia, zalecenia użytkowania.

Rozwiązany problem

Modele ML były wdrażane bez transparentnej dokumentacji ich możliwości, ograniczeń i potencjalnych zagrożeń. Model Cards standaryzują raportowanie modeli dla odpowiedzialnego AI.

Komponenty

Sekcja Model DetailsIdentyfikacja i kontekstualizacja modelu dla użytkowników i audytorów.

Podstawowe informacje o modelu: kto go opracował, wersja, typ modelu, algorytm treningowy, parametry, link do zasobów.

Sekcja Intended UseZapobieganie nadużywaniu modelu przez jasne określenie jego przeznaczenia i granic.

Zamierzone przypadki użycia modelu, docelowi użytkownicy oraz zastosowania wykraczające poza zakres projektu (out-of-scope).

Sekcja FactorsIdentyfikacja wymiarów, po których należy dezagregować wyniki ewaluacji.

Czynniki istotne dla zachowania modelu: grupy demograficzne, warunki środowiskowe, atrybuty instrumentalne. Rozróżniane są czynniki istotne (relevant factors) od czynników ewaluacyjnych (evaluation factors).

Sekcja MetricsDefiniowanie miar, po których oceniana jest jakość modelu.

Lista metryk wydajności i progów decyzyjnych, wraz z uzasadnieniem ich wyboru w kontekście struktury modelu i jego zastosowania.

Sekcja Evaluation DataZapewnienie transparentności danych użytych do pomiaru wydajności modelu.

Opis zbiorów ewaluacyjnych: źródło, kompozycja, reprezentatywność dla zamierzonych przypadków użycia.

Sekcja Training DataInformowanie o danych kształtujących zachowanie modelu.

Opis danych treningowych na poziomie ogólnym, obejmujący proweniencję i skład statystyczny, z uwzględnieniem ograniczeń prywatności.

Sekcja Quantitative AnalysesUjawnianie stronniczości i wariantów wydajności modelu w różnych podgrupach.

Zdezagregowane wyniki ewaluacji modelu według wybranych czynników, obejmujące zarówno wyniki jednostkowe (unitary), jak i intersekcionalne (intersectional).

Sekcja Ethical ConsiderationsTransparentność etyczna i odpowiedzialne AI.

Identyfikacja wrażliwych danych użytych w modelu, implikacji dla życia ludzi, zagrożeń i szkód oraz zastosowanych środków zaradczych.

Sekcja Caveats and RecommendationsUzupełnienie dokumentacji o niestandardowe informacje specyficzne dla danego modelu.

Dodatkowe obawy i zalecenia nieomówione w poprzednich sekcjach: ograniczenia, znane luki, wskazówki dla użytkowników.

Nagłówek YAML (implementacja Hugging Face)Maszynowo parsowalne metadane umożliwiające filtrowanie, odkrywanie i integrację z zewnętrznymi systemami.

Opcjonalna sekcja metadanych YAML na początku pliku README.md (implementacja Hugging Face Hub): license, language, pipeline_tag, base_model, datasets, eval_results.

Oficjalna

Implementacja

Implementacje referencyjne

Hugging Face Hub – dokumentacja Model Cards

Markdown / YAML · Hugging Face

Oficjalna

huggingface_hub – ModelCard Python class

Python · Hugging Face

Oficjalna

Google Model Card Toolkit

Python · Google

Oficjalna

huggingface/model_card – metadane i specyfikacje (archiwalne, przeniesione do huggingface_hub)

Markdown / YAML · Hugging Face

Oficjalna

Pułapki implementacyjne

Pomijanie analizy intersekcionalnejWysoka

Twórcy kart modeli często raportują wyniki wyłącznie per pojedynczy czynnik (np. tylko płeć lub tylko wiek), pomijając analizę intersekcionalną (np. starsze kobiety vs. młodzi mężczyźni), która ujawnia stronniczości niewidoczne w analizie jednostkowej.

Rozwiązanie:Zgodnie z zaleceniami paperu źródłowego (sekcja 4.7), raportować zarówno wyniki jednostkowe, jak i intersekcionalne dla wszystkich kombinacji zidentyfikowanych czynników.

Niekompletna lub ogólnikowa sekcja Ethical ConsiderationsWysoka

Sekcja etyczna bywa wypełniana hasłowo lub pomijana, zamiast zawierać konkretną identyfikację zagrożeń, wrażliwych danych i podjętych środków zaradczych.

Rozwiązanie:Dokumentować konkretne scenariusze ryzyka i podjęte działania zaradcze; wskazywać użyte dane wrażliwe i ich uzasadnienie.

Brak dezagregacji wyników po czynnikachKrytyczna

Karty modeli często raportują jedynie zagregowane metryki (np. ogólna dokładność), bez rozbicia na podgrupy demograficzne, co maskuje zróżnicowaną jakość działania modelu dla różnych populacji.

Rozwiązanie:Raportować zdezagregowane wyniki po każdym zidentyfikowanym czynniku, z przedziałami ufności.

Nieaktualizowanie karty po nowych wersjach modeluŚrednia

Karta modelu jest tworzona raz przy pierwszym wdrożeniu, a następnie nie jest aktualizowana przy kolejnych wersjach lub fine-tuningach, co prowadzi do rozbieżności między dokumentacją a rzeczywistym modelem.

Rozwiązanie:Traktować kartę modelu jako artefakt żywy: aktualizować przy każdej nowej wersji, fine-tuningu lub istotnej zmianie zakresu zastosowania.

Ewolucja

Oryginalny paper · 2019 · FAT* '19: Proceedings of the Conference on Fairness, Accountability, and Transparency · Margaret Mitchell

Model Cards for Model Reporting

Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, Timnit Gebru

2018

Publikacja preprinta 'Model Cards for Model Reporting' (Mitchell et al.) na arXiv

Punkt przełomowy

5 października 2018 Mitchell i współautorzy opublikowali na arXiv propozycję Model Cards jako ustandaryzowanego dokumentu towarzyszącego wytrenowanym modelom ML, wprowadzającego dezagregację wyników po grupach demograficznych.

Model Cards for Model Reporting (artykuł)

2019

Publikacja na konferencji FAT* 2019 i oficjalne przyjęcie przez ACM

Punkt przełomowy

Papier ukazał się w materiałach konferencji FAT* 2019 (Conference on Fairness, Accountability, and Transparency), formalnie wprowadzając Model Cards do dyskursu naukowego i praktyki branżowej.

Model Cards for Model Reporting (artykuł)

2020

Google publikuje open-source Model Card Toolkit

Google udostępnił Model Card Toolkit — bibliotekę Python automatyzującą generowanie kart modeli z danych ewaluacyjnych TensorFlow Model Analysis (TFMA), integrującą się z TFX pipeline.

Introducing the Model Card Toolkit for Easier Model Transparency Reporting (artykuł)

2022

Hugging Face publikuje Model Card Guidebook (Ozoani, Gerchick, Mitchell)

Hugging Face opublikował Model Card Guidebook — zaktualizowany szablon kart modeli zintegrowany z biblioteką huggingface_hub, narzędziem Model Card Creator Tool i analizą krajobrazu dokumentacji ML.

Model Card Guidebook (artykuł)

Hiperparametry (konfigurowalne osie)

Granulacja czynnikówKrytyczna

Liczba i szczegółowość czynników demograficznych, środowiskowych i instrumentalnych uwzględnionych w ewaluacji. Wpływa bezpośrednio na wykrywalność stronniczości.

Analiza intersekcionalnaWysoka

Czy raportowane wyniki obejmują wyłącznie analizę jednostkową (per czynnik) czy też analizę intersekcionalną (kombinacje czynników). Autorzy paperu zalecają obie formy.

unitary onlyWyniki per pojedynczy czynnik.

unitary + intersectionalWyniki per czynnik i per kombinacja czynników — zalecane przez autorów paperu.

Zakres danych ewaluacyjnychWysoka

Zakres ujawnianej informacji o zbiorach ewaluacyjnych: pełna specyfikacja vs. ogólny opis z powołaniem na publicznie dostępne datasety.

Transparentność danych treningowychŚrednia

Zakres ujawnianej informacji o danych treningowych — często ograniczony przez restrykcje prywatności lub własność intelektualną.

Wymagania sprzętowe

Podstawowe

Model Cards to wzorzec dokumentacyjny — pliki tekstowe (Markdown/YAML) niezależne od sprzętu. Mogą opisywać modele działające na dowolnym hardwarze.