Open-Endedness
Jak działa
W open-ended learning działają sprzężone pętle generowania problemów i ich rozwiązywania. Generator (ewolucja, proceduralne generowanie środowisk, przeciwnik w grze, inny agent) tworzy nowe zadania lub środowiska; populacja uczących się agentów próbuje je rozwiązać, a ich postępy przenoszone są między zadaniami (transfer). Kluczowy jest mechanizm utrzymywania odpowiedniej trudności — zadania muszą być nowe i rozwiązywalne, ale nie trywialne (np. minimalne kryterium w POET, dynamiczny dobór zadań i auto-kurrikuła w XLand). Zamiast maksymalizować z góry zdefiniowaną nagrodę, system premiuje nowość, różnorodność i rosnącą złożoność, często z wykorzystaniem motywacji wewnętrznej i ciekawości jako sygnałów eksploracji. Rozwiązane wyzwania zasilają generator kolejnych, dzięki czemu granica kompetencji przesuwa się w nieskończoność.
Rozwiązany problem
Klasyczne uczenie pod jeden, zamknięty cel prowadzi do agentów wąsko wyspecjalizowanych, przeuczonych do konkretnego zadania lub rozkładu danych i niezdolnych do uogólnienia. Open-ended learning adresuje problem wyczerpywania się sygnału uczącego i stagnacji: dostarcza nieskończenie odnawialnego źródła nowych, odpowiednio trudnych wyzwań, które utrzymują postęp i popychają w stronę szerokiej, ogólnej kompetencji.
Komponenty
Mechanizm, który w sposób ciągły tworzy nowe zadania, środowiska lub wyzwania — np. przez ewolucję, proceduralne generowanie lub grę z przeciwnikiem.
Oficjalna
Agenci (najczęściej trenowani uczeniem ze wzmocnieniem), którzy próbują rozwiązywać generowane zadania i przenoszą zdobyte umiejętności między nimi.
Oficjalna
Reguła utrzymująca zadania w strefie najbliższego rozwoju — wystarczająco nowe i trudne, lecz rozwiązywalne (np. minimal criterion w POET, dynamiczny dobór zadań w XLand).
Oficjalna
Sygnał premiujący odmienność rozwiązań i zachowań zamiast samej maksymalizacji z góry zadanej nagrody; często oparty na motywacji wewnętrznej i ciekawości.
Oficjalna
Mechanizm przenoszenia umiejętności między zadaniami oraz porządkowania ich w rozwijającą się sekwencję coraz trudniejszych wyzwań.
Oficjalna
Implementacja
Bez jednej funkcji celu trudno zdefiniować, czy system faktycznie robi postępy i jak porównywać przebiegi.
Populacyjny, masowo zrównoleglany trening w wielu środowiskach jest kosztowny i trudny do odtworzenia.
Źle dobrane kryterium trudności prowadzi do zadań trywialnych lub nierozwiązywalnych, a populacja traci różnorodność.
Ewolucja
Stanley i Lehman formułują tezę, że ambitne osiągnięcia bywają owocem poszukiwania nowości, a nie bezpośredniej pogoni za celem — intelektualny fundament open-endedness.
Paired Open-Ended Trailblazer zoperacjonalizował open-ended learning: równolegle ewoluuje środowiska i agentów, które je rozwiązują.
Zespół DeepMind pokazał, że open-ended trening w ogromnej przestrzeni gier XLand rodzi agentów o szerokiej, ogólnej kompetencji, zdolnych do zero-shot transferu.
Hughes i in. (DeepMind) proponują formalną definicję open-endedness (nowość + uczność) i argumentują, że jest ona warunkiem koniecznym dla sztucznej superinteligencji.
Hiperparametry (konfigurowalne osie)
Liczba równolegle utrzymywanych par środowisko–agent lub agentów w populacji.
Próg określający, kiedy wygenerowane zadanie jest wystarczająco nowe i rozwiązywalne, by trafić do kurrikuły.
Jak często umiejętności agentów są przenoszone między zadaniami/środowiskami.
Tempo i liczba nowych środowisk/zadań tworzonych przez generator w jednostce czasu obliczeniowego.
Równoległość
Metody open-ended (POET, XLand) są z natury populacyjne i masowo zrównoleglane: wielu agentów i wiele środowisk trenuje się równolegle na wielu urządzeniach. Koordynacja transferu i generowania nowych zadań wprowadza jednak elementy sekwencyjne.
Wymagania sprzętowe
Populacyjny trening głębokiego RL w wielu symulowanych środowiskach wymaga masowo równoległych rolloutów i aktualizacji sieci.
Prace DeepMind (XLand) prowadzono na infrastrukturze akceleratorów o dużej skali, dobrze pasującej do równoległego treningu populacji.