Po skazaniu Kelly został umieszczony w Alcatraz, gdzie spędził siedemnaście lat. Pracował w więziennym przemyśle i często chwalił się współwięźniom swoimi wyczynami. W 1951 roku został potajemnie przeniesiony do więzienia w Leavenworth, gdzie 18 lipca 1954 r. w dniu swoich 59 urodzin zmarł na atak serca. Został pochowany na cmentarzu Cottondale..
W kulturze masowej Film i telewizja W 1958 r. Charles Bronson zagrał główną rolę w filmie Machine Gun Kelly, opowiadającym o słynnym przestępcy. W 1973 r. Richard Eschliman wystąpił jako Machine Gun Kelly w filmie Dillinger. Machine Gun Kelly jest głównym bohaterem telewizyjnego filmu Melvin Purvis: G-Man z 1974 r. W filmie Żądło z 1973 r. Luther Coleman słucha relacji z aresztowania gangstera. W filmie Poślubiłem morderczynię z 1993 pojawia się odniesienie do Machine Gun Kelly’ego.