AutoML
Jak działa
AutoML definiuje przestrzeń poszukiwań (modele, pipeline'y, hiperparametry, architektury) i optymalizuje ją procedurą wyszukiwania — Bayesowską (SMAC, BOHB), ewolucyjną (TPOT), bandycką (Hyperband, ASHA), wzmocnieniową (NAS-RL) lub gradientową (DARTS). Meta-learning wykorzystuje wcześniejsze eksperymenty (np. portfolio konfiguracji) jako warm-start dla nowych zadań. Walidacja krzyżowa, stacking i ensembling poprawiają finalne wyniki.
Rozwiązany problem
Stosowanie ML wymaga eksperckiej wiedzy w preprocesowaniu, doborze modelu i strojeniu hiperparametrów, co tworzy barierę wejścia dla domenowych użytkowników i spowalnia iteracje badawcze.
Kluczowe mechanizmy
Mocne strony i ograniczenia
Komponenty
Formalna definicja zbioru dopuszczalnych modeli, pipeline'ów, hiperparametrów i topologii sieci.
Algorytm eksplorujący przestrzeń poszukiwań: Bayesian optimization, ewolucja, bandyty, RL, gradient.
Procedura tania w obliczeniach do oceny kandydatów: walidacja krzyżowa, multi-fidelity (Hyperband), learning curve extrapolation, predyktory wydajności.
Wykorzystanie wiedzy z wcześniejszych zadań (portfolio konfiguracji, embeddings zadań) do przyspieszenia startu na nowym datasecie.
Łączenie wielu wytrenowanych modeli (bagging, boosting, multi-layer stacking) w finalny predyktor.
Implementacja
Pełne wyszukiwanie hiperparametrów lub architektur potrafi pochłonąć tysiące godzin GPU, co czyni naiwny AutoML niedostępnym dla małych zespołów.
Wielokrotna ewaluacja konfiguracji na tym samym zbiorze walidacyjnym prowadzi do efektu „winner's curse" — wybrany model jest optymistycznie oszacowany.
Automatyczne pipeline'y łatwo przecieka informacje z zestawu testowego, jeśli preprocesing nie jest poprawnie zamknięty w foldach walidacji.
Złożone ensemble'e wybrane przez AutoML są często trudne do wyjaśnienia, co utrudnia walidację w domenach regulowanych (medycyna, finanse).
Wyniki AutoML są ograniczone przez przyjętą przestrzeń poszukiwań — z definicji nie odkryje on rozwiązań poza nią.