Debiutancki album Kissing to Be Clever okazał się sporym hitem, docierając do miejsca piątego w Wielkiej Brytanii. Sukcesem okazał się także kolejny singel, "Time (Clock of the Heart)". Rok 1983 przyniósł kolejną płytę – Colour by Numbers. Pobiła ona rekordy popularności i sprzedawała się jeszcze lepiej niż poprzednia. W Stanach Zjednoczonych dotarła do miejsca drugiego, natomiast w Wielkiej Brytanii została numerem 1. Pochodził z niej wielki hit "Karma Chameleon", a także ballada "Victims". Zespół wziął również udział w przedsięwzięciu Band Aid, w ramach którego z innymi artystami nagrał piosenkę "Do They Know It’s Christmas?". thumb|Boy George i Roy Hay podczas koncertu, 2015 Mimo sukcesu komercyjnego, zespół zmagał się z wewnętrznymi problemami. Boy George uzależnił się od narkotyków, a jego związek z perkusistą grupy chylił się ku końcowi. Mimo tego w 1984 wydano trzeci album, zatytułowany Waking Up with the House on Fire. Pomimo iż pierwszy singel, "The War Song", stał się hitem, płyta okazała się komercyjną porażką, zwłaszcza w porównaniu z poprzednimi albumami. Zebrała także nieprzychylne opinie ze strony krytyków. Dobra passa zespołu zaczęła się kończyć.