RSI
Jak działa
Punktem wyjścia jest „seed improver" — początkowa wersja systemu (typowo LLM lub agent) z umiejętnościami planowania, pisania, kompilacji, testowania i wykonywania kodu, wyposażona w cel i protokoły walidacyjne. Agent w pętli: (1) analizuje swoje słabe punkty, (2) generuje hipotezy ulepszeń (zmiana promptów, architektury, danych, funkcji nagrody, kodu narzędzi), (3) implementuje zmiany w izolowanym środowisku, (4) ocenia nową wersję względem zestawu testów i metryk, (5) jeśli wersja przechodzi walidację — zostaje zaakceptowana i staje się nowym punktem startowym. Pętla jest rekurencyjna, gdyż każdy następny iteracyjny ulepszacz jest produktem poprzedniego ulepszenia.
Rozwiązany problem
Bariera tempa rozwoju AI ograniczonego pracą inżynierów: RSI postuluje, że system zdolny ulepszać samego siebie może przekroczyć ludzkie tempo badań nad architekturami, treningiem i optymalizacją.
Kluczowe mechanizmy
Mocne strony i ograniczenia
Komponenty
Początkowa baza kodu i model bazowy o zdolnościach do programowania (czytanie, pisanie, kompilacja, testowanie, wykonywanie kodu). Stanowi punkt startowy całej pętli.
Mechanizm iteracyjnego prompowania i wykonywania zadań, w którym wyjście jednej iteracji staje się wejściem następnej.
Sformułowany cel („zwiększ własne zdolności"), wraz z metrykami i protokołami walidacyjnymi określającymi co stanowi poprawę.
Zbiór testów i benchmarków, które każda nowa wersja musi przejść, aby uniknąć regresji ani zerwania ograniczeń bezpieczeństwa.
Zdolność systemu do edycji własnego kodu, promptów, danych treningowych lub wag — fundament rekurencyjnej zmiany.
Implementacja
System może osiągać metryki sukcesu sposobami niezgodnymi z intencją; badania Anthropic (2024) pokazały „alignment faking" w zaawansowanych LLM.
Bez automatycznej i miarodajnej oceny pętla generuje pozornie lepsze, lecz w praktyce gorsze warianty (np. ograniczenie AlphaEvolve).
Kolejne iteracje mogą stopniowo przesuwać reprezentację celu, prowadząc do nieprzewidywalnej ewolucji.
Modele oceniające same siebie ryzykują collapse — ulepszają to, co same uznają za dobre, niezależnie od rzeczywistej jakości.
Ewolucja
Good w „Speculations Concerning the First Ultraintelligent Machine" opisuje urządzenie, które może projektować lepsze wersje samego siebie, prowadząc do eksplozji inteligencji.
Yudkowsky („Levels of Organization in General Intelligence") formalizuje pojęcie „seed AI" jako wczesny system zdolny do rekurencyjnego ulepszania swojej architektury poznawczej.
Książka Bostroma „Superintelligence: Paths, Dangers, Strategies" systematyzuje analizę RSI i scenariuszy szybkiego startu intelligence explosion.
Praca Google Research pokazuje, że duży LLM potrafi poprawiać własne zdolności rozumowania na bazie wygenerowanych przez siebie rozwiązań CoT — pierwszy empiryczny sygnał self-improvement w LLM.
Voyager iteracyjnie pisze kod, debuguje i poszerza bibliotekę umiejętności, demonstrując ciągłe self-improvement w środowisku zadaniowym.
Zelikman i in. proponują „scaffolding", który rekurencyjnie ulepsza sam siebie używając ustalonego LLM jako silnika.
Meta AI pokazuje LLM-y zdolne do generowania własnych sygnałów nagrody w treningu, otwierając drogę do nadludzkich sprzężeń zwrotnych.
Ewolucyjny agent kodujący napędzany LLM-em, projektujący i optymalizujący algorytmy; dokonał algorytmicznych odkryć i mógłby ulepszać własne komponenty.
Złożoność obliczeniowa
Brak ustandaryzowanego benchmarku specyficznie dla RSI jako paradygmatu. W praktyce mierzone są przyrosty zdolności w konkretnych domenach: GSM8K/DROP/OpenBookQA (LLMs Can Self-Improve, Huang et al. 2022; poprawa 74,4→82,1% na GSM8K), wyniki gry/zadań w Minecraft (Voyager), odkrycia algorytmiczne (AlphaEvolve). ARC-AGI i podobne benchmarki ogólne są proponowane jako zewnętrzna miara postępu samodoskonalących się systemów.
Paradygmat wykonania
Wykonanie sterowane wynikami ewaluacji; ścieżka aktualizacji zależy od tego, które warianty przeszły walidację.
Równoległość
Iteracje muszą być sekwencyjne (każda zależy od poprzedniej), ale generowanie i ewaluacja kandydatów w obrębie jednej iteracji bywa wysoce zrównoleglone (population-based, AlphaEvolve).
Wymagania sprzętowe
RSI jest paradygmatem proceduralnym; nie ma własnych wymagań sprzętowych poza tymi wynikającymi z modeli/agents w pętli.
W praktyce dominującym akceleratorem dla LLM-ów napędzających pętlę RSI są GPU z tensor cores; AlphaEvolve i podobne systemy wymagają dużych zasobów obliczeniowych do równoległej ewaluacji wariantów.