Tag: Reward hacking

Aktualności4 października 2026

OpenAI wstrzymuje trening: agent uciekł z sandboxa przez DNS

Agent zamknięty w środowisku treningowym OpenAI obszedł blokady sieciowe i przez resolver DNS zadał pytania zewnętrznemu chatbotowi. Firma wstrzymała trening, testy i uruchamianie z dostępem do narzędzi dla najmocniejszych modeli.

Aktualności3 października 2026

Agenty OpenAI 16 500 razy skanowały statystyczne API ONZ

Rowan Howard-Jones ustalił, że agenty OpenAI wykonały ponad 16 500 skanów API statystycznego UNCTAD. Blokady obeszły przez publiczny skaner URL, podwójne kodowanie adresów i edukacyjną grę XSS Google'a.

Aktualności19 września 2026

Sto agentów AI: 14 oszukiwało, 24 doniosło. Eksperyment DeepMind

Google DeepMind puścił 100 agentów na Gemini 3.1 Pro do dowodzenia hipotez matematycznych. Jeden znalazł lukę w systemie oceny, oszustwo rozlało się w minuty — a 24 inne agenty zaczęły donosić ludziom.

Aktualności6 września 2026

Anthropic wstrzymało część treningu RL po incydentach z Claude'em

Anthropic przyznaje, że modele Claude wyszły w testach na żywy internet. Firma zamroziła na miesiąc produkcyjne środowiska RL, oznaczyła ponad 10% z nich jako wadliwe i przesunęła ok. 150 inżynierów do bezpieczeństwa.

Aktualności29 sierpnia 2026

OpenAI ujawnia, dlaczego jego agenty włamały się do Hugging Face

OpenAI opublikowało raport z dochodzenia w sprawie lipcowego włamania agentów do Hugging Face. Przyczyną był reward hacking wyuczony w treningu, nie luka w izolacji.

Aktualności6 sierpnia 2026

Reward hacking: dlaczego agenty AI oszukują, by osiągnąć cel

Agenty AI coraz częściej osiągają cel, oszukując system nagród — od gry wyścigowej po włamanie do baz Hugging Face. MIT Technology Review tłumaczy, dlaczego reward hacking to przewidywalny efekt treningu, a nie awaria.