Gdy model jest trenowany na próbkach wygenerowanych przez poprzedni model (a nie na oryginalnych danych), błędy się kumulują: skończone próbkowanie pomija rzadkie zdarzenia, model aproksymuje rozkład niedokładnie, a proces uczenia dodaje własne błędy. W efekcie każda kolejna generacja coraz mocniej „obcina” ogony rozkładu i zawęża różnorodność wyjść, aż model traci zdolność reprezentowania oryginalnej różnorodności danych. Zjawisko obserwowano dla LLM, VAE i modeli mieszanin Gaussa.
Wskazuje ukryte ryzyko trenowania modeli na danych syntetycznych/generowanych przez AI i wyjaśnia, dlaczego jakość może się pogarszać między generacjami — pozwalając projektować strategie ochrony (dane ludzkie, provenance, mieszanie danych).
Skończone próbki pomijają rzadkie zdarzenia z ogonów rozkładu.
Model nie odwzorowuje rozkładu dokładnie.
Procedura optymalizacji wprowadza dodatkowe odchylenia.
Kolaps może narastać powoli i umykać pobieżnej ewaluacji.
Dane z internetu zawierają coraz więcej treści generowanych przez AI.
Badania sygnalizują ryzyko trenowania na wyjściach modeli.
Formalny opis i nazwa „model collapse”; wczesny vs późny kolaps.
