Trening
Online Distillation
2018AktywnyAktualizacja: 15 września 2026Opublikowany
Wariant destylacji wiedzy, w którym nauczyciel i uczeń uczą się równocześnie, a wiedza jest przekazywana na bieżąco.
Kluczowa
innowacja
Destylacja wiedzy prowadzona jednocześnie z treningiem, bez oddzielnego, w pełni wytrenowanego nauczyciela.
Kategoria
Trening
Poziom abstrakcji
Wzorzec
Poziom operacji
TreningPo-trening
Zastosowania
Efektywny trening mniejszych modeliKompresja modeliTrening zespołowy modeli
Jak działa
Uczeń i nauczyciel (albo grupa równorzędnych modeli) trenują jednocześnie na tych samych danych. W trakcie treningu uczeń dopasowuje swoje wyjścia do miękkich predykcji nauczyciela (lub uśrednionych predykcji zespołu), co przenosi wiedzę bez oddzielnej fazy destylacji.
Rozwiązany problem
Klasyczna destylacja wymaga osobnego, w pełni wytrenowanego nauczyciela, co jest kosztowne i wolne. Online distillation łączy te etapy.