Dane

Uczenie aktywne

1994AktywnyOpublikowany

Paradygmat uczenia maszynowego, w którym algorytm sam odpytuje najbardziej informatywne przykłady do oznaczenia przez oracle (człowieka), by osiągnąć wysoką jakość przy minimalnej liczbie etykiet.

Kluczowa innowacja

Przenosi kontrolę nad tym, które dane są etykietowane, ze z góry ustalonego zbioru na sam model — to algorytm wybiera najbardziej informatywne przykłady do oznaczenia, osiągając wysoką jakość przy znacznie mniejszej liczbie etykiet.

Kategoria

Dane

Poziom abstrakcji

Paradygmat

Poziom operacji

DaneTrening

Zastosowania

Obrazowanie medyczne i diagnostyka (kosztowna adnotacja eksperta)Nisko-zasobowe NLP i klasyfikacja tekstuRozpoznawanie mowyDetekcja i segmentacja obiektów w wizji komputerowejWykrywanie anomalii i klasy rzadkieOdkrywanie leków i chemia obliczeniowaRobotyka i dobór demonstracji do uczenia politykModeracja treści i wykrywanie spamu

Jak działa

Uczenie aktywne działa w pętli. (1) Model bazowy jest trenowany na małym początkowym zbiorze oznaczonym (seed set). (2) Strategia zapytań ocenia informatywność przykładów nieoznaczonych za pomocą funkcji użyteczności — np. niepewności predykcji (najmniejsza pewność, margines, entropia), niezgodności komitetu modeli (query-by-committee), oczekiwanej zmiany gradientu/modelu, oczekiwanej redukcji błędu lub wariancji, ewentualnie ważonej gęstością/różnorodnością, by unikać wybierania podobnych przykładów w partii. (3) Najbardziej informatywne przykłady (pojedynczo lub w partii o rozmiarze B) są przekazywane do oracle w celu oznaczenia. (4) Nowe etykiety dołączane są do zbioru treningowego, a model jest ponownie trenowany. Pętla powtarza się aż do wyczerpania budżetu etykiet lub spełnienia kryterium stopu. Scenariusze różnią się źródłem kandydatów: pool-based ocenia całą pulę i wybiera najlepsze, stream-based decyduje o każdym napływającym przykładzie z osobna, a membership query synthesis generuje syntetyczne przykłady do odpytania.

Rozwiązany problem

Etykietowanie danych jest często najdroższym i najwolniejszym elementem budowy modeli ML, podczas gdy surowe dane nieoznaczone są tanie i liczne. Uczenie pasywne (losowy dobór przykładów do oznaczenia) marnuje budżet adnotacji na przykłady mało informatywne. Uczenie aktywne minimalizuje liczbę potrzebnych etykiet, kierując pracę annotatora na przykłady, które najbardziej poprawią model.

Komponenty

Oracle (annotator)Dostarcza etykiety na żądanie

Autorytatywne źródło etykiet — zwykle człowiek-ekspert, czasem inny system. Odpowiada na zapytania modelu, dostarczając prawdziwe etykiety wybranych przykładów.

Oficjalna

Learner (model bazowy)Uczy się i generuje sygnał informatywności

Model ML trenowany na rosnącym zbiorze oznaczonym; jego stan (niepewność, gradienty, predykcje) napędza wybór kolejnych zapytań.

Oficjalna

Unlabeled pool / streamŹródło kandydatów do zapytań

Zbiór lub strumień przykładów bez etykiet, z którego wybierani są kandydaci do oznaczenia.

Query strategyDecyduje, o co zapytać oracle

Reguła wyboru przykładów: uncertainty sampling, query-by-committee, expected model change, expected error/variance reduction, metody gęstościowe/różnorodnościowe.

Uncertainty samplingWybór przykładów, co do których model jest najmniej pewny (least confidence, margin, entropia).

Query-by-committeeKomitet modeli głosuje; wybierane są przykłady o największej niezgodności.

Expected model changeWybór przykładów, które najsilniej zmieniłyby bieżący model (np. największy oczekiwany gradient).

Diversity / core-setMetody uwzględniające reprezentatywność i różnorodność, ważne w trybie wsadowym (batch AL).

Oficjalna

Informativeness measureKwantyfikuje wartość zapytania

Funkcja użyteczności przypisująca każdemu przykładowi wartość spodziewanego zysku informacyjnego, na podstawie której ranguje się kandydatów.

Oficjalna

Stopping criterion / budgetKontroluje koszt i zakończenie procesu

Warunek zakończenia pętli: wyczerpanie budżetu etykiet, plateau jakości na zbiorze walidacyjnym lub próg pewności.

Oficjalna

Implementacja

Implementacje referencyjne

modAL

Python · Tivadar Danka

scikit-activeml

Python · scikit-activeml

Pułapki implementacyjne

Bias próbkowania i przesunięcie rozkładuWysoka

Zbiór zebrany aktywnie nie jest iid względem rozkładu docelowego, co może pogorszyć jakość innych modeli trenowanych na tych danych i utrudnić uczciwą ewaluację.

Rozwiązanie:Stosować strategie ważone gęstością/reprezentatywnością i walidację na niezależnym zbiorze losowym.

Problem zimnego startuŚrednia

Przy bardzo małym zbiorze początkowym model jest słaby, więc jego sygnał niepewności jest niewiarygodny, a wczesne zapytania — mało trafne.

Rozwiązanie:Zwiększyć zbiór początkowy, użyć wstępnie wytrenowanego modelu lub rozpocząć od próbkowania różnorodnościowego.

Redundancja w partiiWysoka

Czyste uncertainty sampling w trybie wsadowym wybiera bardzo podobne, wzajemnie redundantne przykłady, marnując budżet etykiet.

Rozwiązanie:Łączyć niepewność z różnorodnością (core-set, BADGE, klasteryzacja) przy doborze partii.

Zaszumiony lub kosztowny oracleWysoka

Założenie o bezbłędnym oracle bywa nierealne; szum etykiet i różny koszt adnotacji obniżają zyski z aktywnego uczenia.

Rozwiązanie:Modelować szum, stosować redundantne adnotacje oraz strategie świadome kosztu (cost-sensitive AL).

Nietrafna kalibracja niepewności w sieciach głębokichWysoka

Softmax w sieciach głębokich bywa nadmiernie pewny, przez co surowa niepewność słabo mierzy informatywność.

Rozwiązanie:Używać niepewności bayesowskiej (MC-dropout, BALD, ensemble) zamiast surowego softmaxu.

Ewolucja

Oryginalny paper · 1994 · Machine Learning, 15(2), 201-221 · David A. Cohn

Improving Generalization with Active Learning

David A. Cohn, Les E. Atlas, Richard E. Ladner

1988

Formalizacja uczenia przez zapytania (membership queries)

Dana Angluin formalizuje uczenie przez zapytania członkowskie — teoretyczna podstawa scenariusza membership query synthesis.

Queries and Concept Learning (D. Angluin) (artykuł)

1992

Query by Committee

Punkt przełomowy

Seung, Opper i Sompolinsky wprowadzają komitet modeli głosujący nad przykładami; wybierane są punkty o największej niezgodności.

Query by Committee (artykuł)

1994

Ukucie terminu „active learning” w ML

Punkt przełomowy

Cohn, Atlas i Ladner wprowadzają termin i pokazują poprawę generalizacji dzięki selektywnemu doborowi przykładów.

Improving Generalization with Active Learning (artykuł)

1994

Uncertainty sampling (pool-based) dla klasyfikacji tekstu

Punkt przełomowy

Lewis i Gale proponują sekwencyjny algorytm uczenia klasyfikatorów tekstu oparty na próbkowaniu według niepewności.

A Sequential Algorithm for Training Text Classifiers (artykuł)

2009

Ujednolicający przegląd literatury

Punkt przełomowy

Burr Settles publikuje Active Learning Literature Survey, porządkując scenariusze i strategie zapytań w jedną, powszechnie cytowaną taksonomię.

Active Learning Literature Survey (Computer Sciences Technical Report 1648, UW-Madison) (artykuł)

2017

Głębokie bayesowskie uczenie aktywne

Punkt przełomowy

Gal, Islam i Ghahramani łączą uczenie aktywne z bayesowską niepewnością sieci głębokich (MC-dropout, BALD) dla danych obrazowych.

Deep Bayesian Active Learning with Image Data (artykuł)

2018

Podejście core-set (różnorodność/reprezentatywność) dla batch AL

Punkt przełomowy

Sener i Savarese formułują dobór partii jako problem core-set, kładąc nacisk na reprezentatywność zamiast samej niepewności w uczeniu aktywnym z CNN.

Active Learning for Convolutional Neural Networks: A Core-Set Approach (artykuł)

Hiperparametry (konfigurowalne osie)

Strategia zapytańKrytyczna

Wybór funkcji akwizycji (uncertainty, QBC, expected model change, diversity/core-set) — decyduje o skuteczności doboru próbek.

Budżet etykietKrytyczna

Maksymalna liczba zapytań do oracle; determinuje koszt i zwykle sufit jakości.

Rozmiar partii zapytań (B)Wysoka

Liczba przykładów oznaczanych w jednej rundzie; duże B wymaga strategii różnorodnościowej, by uniknąć redundancji.

Model bazowyWysoka

Rodzaj modelu (np. regresja logistyczna, SVM, sieć głęboka); wpływa na jakość sygnału niepewności i kalibrację.

Rozmiar zbioru początkowegoŚrednia

Liczba etykiet na starcie; zbyt mała powoduje problem zimnego startu i słabe wczesne zapytania.

Kryterium stopuŚrednia

Warunek zakończenia pętli (budżet, plateau jakości, próg pewności).

Złożoność obliczeniowa

Złożoność czasowa: O(R · (C_train + |U|·c_score)).

Równoległość

Poziom równoległości

Sekwencyjny

Kanoniczna pętla jest sekwencyjna (każda runda zależy od poprzedniej). Tryb wsadowy (batch-mode active learning) pozwala zrównoleglić etykietowanie wielu przykładów w jednej rundzie.

Zakres

Trening