Charakterystyka Pojęcie model collapse zostało zdefiniowane przez (i współautorów) w pracy badawczej jako proces degeneracyjny obejmujący kolejne generacje wyuczonych modeli generatywnych, w którym dane generowane przez jedną generację „zanieczyszczają” zbiór treningowy następnej generacji. Model trenowany na takim zbiorze może stopniowo błędnie odwzorowywać rzeczywisty rozkład danych.
We wczesnej fazie zapaści model traci przede wszystkim informacje o rzadkich przypadkach, czyli o elementach znajdujących się w ogonach rozkładu. W późniejszej fazie rozkład generowany przez model może mieć niewielkie podobieństwo do rozkładu pierwotnego i charakteryzować się wyraźnie zmniejszoną zmiennością. W praktyce utrata ogonów rozkładu oznacza coraz słabsze odwzorowywanie zdarzeń o małym prawdopodobieństwie. W eksperymentach z modelami językowymi dane kolejnych generacji zawierały wiele powtarzających się fraz, a modele z czasem generowały sekwencje bardziej prawdopodobne w rozkładzie danych pierwotnych, równocześnie wprowadzając własne mało prawdopodobne sekwencje, traktowane przez autorów jako kumulujące się błędy.