Wnioskowanie

Actor-Critic

1983AktywnyOpublikowano: 8 czerwca 2026Aktualizacja: 8 czerwca 2026Opublikowany

Architektura uczenia ze wzmocnieniem łącząca aktora (polityka) i krytyka (funkcja wartości), gdzie krytyk dostarcza sygnał obniżający wariancję aktualizacji polityki.

Kluczowa innowacja

Połączenie uczenia polityki (actor) z estymacją wartości (critic) w jednej architekturze, co redukuje wariancję gradientu polityki względem czystego REINFORCE bez wprowadzania obciążenia metod czysto wartościowych.

Kategoria

Wnioskowanie

Poziom abstrakcji

Wzorzec

Poziom operacji

TreningŚrodowisko agentowe

Zastosowania

Sterowanie ciągłe w robotyce (lokomocja, manipulacja)RLHF dla dużych modeli językowych (PPO)Granie w gry wideo (A3C, IMPALA)Sterowanie autonomicznymi pojazdamiOptymalizacja zasobów i sterowanie przemysłoweUczenie polityki w wyobraźni w MBRL (Dreamer)

Jak działa

W każdym kroku: (1) Aktor π_θ(a|s) wybiera akcję na podstawie aktualnego stanu. (2) Środowisko zwraca nagrodę r i następny stan s'. (3) Krytyk V_w(s) (lub Q_w) oblicza błąd czasowo-różnicowy (TD error) δ = r + γV_w(s') − V_w(s), będący estymatą przewagi. (4) Krytyk jest aktualizowany do minimalizacji błędu TD (regresja). (5) Aktor jest aktualizowany gradientem polityki ważonym przez δ: ∇_θ log π_θ(a|s)·δ, co zwiększa prawdopodobieństwo akcji lepszych niż oczekiwano. Warianty różnią się sposobem estymacji przewagi (GAE), liczbą kroków bootstrap (n-step), wykorzystaniem entropii (SAC) lub clippingiem (PPO).

Rozwiązany problem

Czyste metody gradientu polityki (REINFORCE) mają wysoką wariancję estymatora, co spowalnia i destabilizuje uczenie. Czyste metody wartościowe (Q-learning) trudno stosować w ciągłych przestrzeniach akcji. Actor-Critic łączy zalety obu: niska wariancja dzięki krytykowi i bezpośrednia parametryzacja polityki dla ciągłych akcji.

Komponenty

Actor (policy network)Parametryzuje i próbkuje politykę π(a|s)

Sieć neuronowa wyznaczająca rozkład akcji (kategoryczny dla dyskretnych, Gauss/squashed dla ciągłych). Aktualizowana gradientem polityki ważonym sygnałem krytyka.

Critic (value network)Estymuje funkcję wartości V(s) / Q(s,a) / A(s,a)

Sieć ucząca się oceny stanu lub pary stan-akcja, używana do obliczenia błędu TD i redukcji wariancji aktualizacji aktora.

State-value critic V(s)Używany w A2C/A3C/PPO z estymacją przewagi (GAE).

Action-value critic Q(s,a)Używany w DDPG/TD3/SAC dla ciągłej kontroli.

Twin critics (TD3, SAC)Dwa krytycy Q i minimum do redukcji nadestymacji wartości.

Advantage estimatorOblicza przewagę A(s,a) sterującą aktorem

Mechanizm wyznaczania przewagi: jednokrokowy TD error, n-step lub Generalized Advantage Estimation (GAE) z parametrem λ.

Implementacja

Implementacje referencyjne

Stable-Baselines3 (A2C/PPO/SAC/TD3)

Python · DLR-RM

CleanRL

Python · Costa Huang et al.

Python · PyTorch / Meta

Oficjalna

Pułapki implementacyjne

Niestabilność uczenia krytykaWysoka

Bootstrapping z funkcją aproksymowaną może rozbiegać się (deadly triad: function approximation + bootstrapping + off-policy).

Rozwiązanie:Target networks, twin critics, ograniczenie kroku polityki (PPO clip, TRPO), normalizacja przewag.

Nadestymacja wartościWysoka

Pojedynczy krytyk Q ma tendencję do zawyżania wartości akcji, co psuje politykę.

Rozwiązanie:Clipped double-Q (TD3/SAC) — minimum z dwóch krytyków.

Kolaps eksploracjiŚrednia

Aktor może przedwcześnie zbiec do deterministycznej, suboptymalnej polityki.

Rozwiązanie:Bonus entropii (SAC), szum eksploracyjny (DDPG/TD3), strojenie współczynnika entropii.

Wrażliwość na skalę nagródŚrednia

Aktualizacje krytyka i przewagi są wrażliwe na skalę i wariancję nagród.

Rozwiązanie:Normalizacja zwrotów/przewag, reward clipping, symlog (DreamerV3).

Ewolucja

Oryginalny paper · 1983 · IEEE Transactions on Systems, Man, and Cybernetics 1983 · Andrew G. Barto

Neuronlike Adaptive Elements That Can Solve Difficult Learning Control Problems

Andrew G. Barto, Richard S. Sutton, Charles W. Anderson

1983

Barto-Sutton-Anderson — pierwszy actor-critic

Punkt przełomowy

Sformułowanie układu „adaptive critic element" + „associative search element" rozwiązującego problem balansu drążka.

2000

Policy Gradient Theorem i actor-critic z aproksymacją funkcji

Punkt przełomowy

Sutton i in. formalizują twierdzenie o gradiencie polityki, dając teoretyczne podstawy nowoczesnych metod actor-critic.

Policy Gradient Methods for Reinforcement Learning with Function Approximation (artykuł)

2016

A3C — asynchroniczny deep actor-critic

Punkt przełomowy

Mnih i in. wprowadzają A3C, pokazując skalowalny, stabilny deep RL bez replay buffera.

Asynchronous Methods for Deep Reinforcement Learning (artykuł)

2015

DDPG — ciągła kontrola off-policy

Lillicrap i in. łączą deterministycznego aktora z krytykiem Q dla ciągłych przestrzeni akcji.

Continuous Control with Deep Reinforcement Learning (artykuł)

2017

PPO — clipped actor-critic

Punkt przełomowy

Schulman i in. wprowadzają PPO, najpopularniejszy dziś wariant actor-critic, później szkielet RLHF.

PPO (koncept)Proximal Policy Optimization Algorithms (artykuł)

2018

SAC — maximum-entropy actor-critic

Haarnoja i in. dodają regularyzację entropii i twin critics, ustanawiając SoTA w ciągłej kontroli.

Soft Actor-Critic: Off-Policy Maximum Entropy Deep RL (artykuł)

Hiperparametry (konfigurowalne osie)

Critic typeKrytyczna

V(s) vs Q(s,a) vs twin critics — determinuje rodzinę algorytmu (A2C vs DDPG/SAC).

GAE λWysoka

Parametr kompromisu bias-variance w Generalized Advantage Estimation (typowo 0.9-0.97).

Entropy coefficientWysoka

Waga bonusu entropii zachęcającego do eksploracji (kluczowy w SAC, A3C, PPO).

Actor/critic learning-rate ratioŚrednia

Względne tempo uczenia aktora i krytyka; krytyk zwykle uczony szybciej dla stabilności.

Number of parallel actorsŚrednia

Liczba równoległych środowisk/aktorów zbierających dane (A2C/A3C/IMPALA).

Paradygmat wykonania

Tryb główny

Gęsty

Zarówno sieć aktora, jak i krytyka są aktywne w każdym kroku treningu.

Wzorzec aktywacji

Wszystkie ścieżki aktywne

Równoległość

Poziom równoległości

Częściowo równoległy

Warianty asynchroniczne (A3C) i rozproszone (IMPALA, A2C) paralelizują zbieranie danych przez wielu aktorów. Aktualizacja sieci pozostaje synchroniczna; krok środowiska jest sekwencyjny.

Zakres

TreningInferencjaPomiędzy urządzeniami