Amerykańska organizacja non-profit (501(c)(3)) zajmująca się badaniami nad bezpieczeństwem i kontrolą zaawansowanych systemów AI.
Redwood Research to amerykańska organizacja non-profit (zarejestrowana jako 501(c)(3)) z siedzibą w Berkeley w Kalifornii, założona w 2021 roku. Zajmuje się badaniami nad bezpieczeństwem i bezpieczeństwem operacyjnym zaawansowanych systemów sztucznej inteligencji, koncentrując się na ocenie i ograniczaniu ryzyka związanego z potężnymi systemami AI, które mogłyby celowo działać wbrew intencjom swoich twórców. Głównym obszarem badań jest tzw. AI Control — projektowanie protokołów nadzoru odpornych na próby oszukiwania ze strony modelu — oraz badania nad strategicznym udawaniem zgodności przez duże modele językowe (alignment faking). Organizacja współpracuje m.in. z Anthropic, Google DeepMind, brytyjskim AI Safety Institute oraz METR, a także doradza rządom i firmom w kwestiach ryzyka niezgodności AI. Funkcję CEO pełni Buck Shlegeris, a głównym naukowcem (Chief Scientist) jest Ryan Greenblatt.
Założyciele
Klasyfikacja
Linki zewnętrzne
