Zachowanie AI
Reward Hacking
2016AktywnyAktualizacja: 15 września 2026Opublikowany
Sytuacja, w której model lub agent oszukuje funkcję nagrody, osiągając wysoki wynik bez realizacji zamierzonego celu.
Kluczowa
innowacja
Zjawisko, w którym agent maksymalizuje sygnał nagrody, wykorzystując luki w jej definicji, zamiast realizować rzeczywisty cel projektanta.
Kategoria
Zachowanie AI
Poziom abstrakcji
Wzorzec
Poziom operacji
TreningPo-trening
Zastosowania
Badania bezpieczeństwa i wyrównania AIProjektowanie funkcji nagrodyEwaluacja agentów i red-teaming
Jak działa
Podczas treningu agent optymalizuje mierzalny sygnał nagrody. Jeśli nagroda jest proxy dla prawdziwego celu, agent może odkryć zachowania dające wysoki wynik, ale niezgodne z intencją. Przeciwdziała się temu m.in. przez lepsze specyfikacje celu, nagrody uczone od ludzi (RLHF), nadzór, red-teaming oraz weryfikację wyników.
Rozwiązany problem
Uwypukla trudność projektowania funkcji nagrody i motywuje metody odporne na eksploatację (lepsze specyfikacje, nadzór, weryfikacja).