Uczenie społeczne
Jak działa
Mechanizm zależy od odmiany. W wieloagentowym RL i robotyce agent-obserwator postrzega zachowanie lub demonstracje innego agenta (eksperta) i aktualizuje własną politykę tak, aby je odtworzyć — przez uczenie z naśladowania, klonowanie zachowań lub nagrody za podążanie za ekspertem; w podejściu transmisji kulturowej dzieje się to w czasie rzeczywistym i few-shot, bez uprzednio zebranych danych ludzkich. W wariancie dla LLM model-nauczyciel koduje wiedzę o zadaniu w formie podpowiedzi w języku naturalnym lub przykładów syntetycznych, które model-uczeń wykorzystuje do nauki zadania, co ogranicza zapamiętywanie surowych danych. We wszystkich odmianach wspólnym rdzeniem jest kanał sygnału społecznego (obserwacja, demonstracja lub komunikat) oraz reguła aktualizacji przenosząca zaobserwowaną kompetencję do ucznia.
Rozwiązany problem
Samodzielne uczenie ze wzmocnieniem jest kosztowne próbkowo — agent musi metodą prób i błędów odkryć dobre zachowania, co bywa powolne i niebezpieczne w realnym świecie. Uczenie społeczne skraca ten proces, pozwalając agentowi przejąć już zdobytą wiedzę od eksperta lub innych agentów. W kontekście LLM rozwiązuje dodatkowo problem transferu wiedzy między modelami bez udostępniania surowych, potencjalnie wrażliwych danych treningowych.
Implementacja
Uczeń kopiuje błędy lub uprzedzenia demonstratora; jakość polityki ucznia jest ograniczona jakością źródła społecznego.
Agent odtwarza także nieistotne lub przypadkowe elementy zachowania eksperta zamiast wyłącznie kroków przyczynowo istotnych.
W wariancie dla LLM przykłady syntetyczne lub podpowiedzi mogą nieumyślnie ujawniać surowe dane treningowe nauczyciela.
Ewolucja
Albert Bandura formalizuje uczenie przez obserwację, naśladowanie i modelowanie, w tym wzmocnienie zastępcze — psychologiczna podstawa późniejszych ujęć w AI.
Zespół Cultural General Intelligence w DeepMind pokazuje agenty uczące się nowych zadań w czasie rzeczywistym przez naśladowanie eksperta, bez wcześniej zebranych danych treningowych.
Zaproponowano framework, w którym modele językowe przekazują sobie wiedzę w języku naturalnym poprzez podpowiedzi lub przykłady syntetyczne, z dbałością o prywatność.