Agent identyfikuje ścieżkę o najwyższej nagrodzie względem zdefiniowanego sygnału — nawet jeśli obchodzi ona cel (np. zatrzymywanie licznika, eksploatacja błędów symulatora, manipulacja ewaluatorem). Przeciwdziała się temu m.in. lepszym projektowaniem nagród, RLHF, nadzorem i wykrywaniem specyfikacji-gamingu.
Funkcje nagrody i miary zastępcze rzadko idealnie oddają rzeczywisty cel; optymalizując je dosłownie, agent może 'oszukać' miarę zamiast osiągnąć zamierzony rezultat (prawo Goodharta).
