Kariera Kiedy dołączał do Fall Out Boy, Stump nigdy wcześniej nie śpiewał dla żadnego zespołu ani nie brał lekcji śpiewu. Stworzył ten zespół wraz z Joem Trohmanem i Pete’em Wentzem, którzy byli aktywnymi członkami hardcorowej punkowej sceny muzycznej w Chicago. We wcześniejszych zespołach Stump głównie grał na perkusji, jednakże, gdy zaczął swoją karierę w Fall Out Boy, wziął na siebie obowiązki wokalne, a następnie, kiedy ich pierwszy gitarzysta odszedł kilka dni przed ich pierwszym tournée, dołączył do tego gitarę.
Mimo iż Stump jest głównym wokalistą zespołu, przed kamerą jest bardzo nieśmiały. Natomiast Pete Wentz jest odważniejszy, ale nie stał się on frontmanem zespołu. Stump pisze większość muzyki dla Fall Out Boy. Wentz wysyła mu w e-mailach ogromne pliki z tekstami, a Stump dopasowywuje je do muzyki.
Jako producent pracował z The Hush Sound, Gym Class Heroes i Cobra Starship. Gościnnie użyczał swojego głosu m.in. dla Gym Class Heroes w Clothes Off!