Sytuacja ta odbijała się chociażby w polityce zagranicznej Hiszpanii – jako sojuszniczka Francji uczestniczyła w blokadzie kontynentalnej Anglii, ale z sojuszu wycofała się po bitwie pod Trafalgarem. Kiedy Napoleon Bonaparte pokonał Prusy w 1807, Godoy powrócił do przymierza z Francją, ale Francja już nie traktowała Hiszpanii poważnie. Karol nie miał wpływu na żadną z tych decyzji, a Godoy stał się bardzo niepopularny wśród Hiszpanów.
W 1803 Karol przebył ospę, zaraził nią swoją córkę – Marię Ludwikę. Wysłał potem nadwornego lekarza, Francisca Javiera de Balmis, do kolonii w Nowym Świecie, żeby tam szczepił ludność przeciwko ospie na koszt państwa.
Abdykacja Kiedy Karolowi powiedziano, że jego syn Ferdynand spiskuje z Napoleonem przeciwko Godoyowi, stanął po stronie faworyta. Kiedy w Aranjuez w 1808 wybuchł bunt, Karol abdykował 19 marca, żeby chronić Godoya, który stał się więźniem. Tron przejął natychmiast Ferdynand, ale został obalony przez Napoleona, który w tym czasie miał w Hiszpanii 100 tysięcy żołnierzy. Karol schronił się we Francji, gdzie stał się więźniem cesarza. Na tronie Hiszpanii zasiadł brat Napoleona Józef Bonaparte. Karol zaakceptował pensję, którą łaskawie dał mu cesarz, i spędził resztę życia razem z żoną i ministrem Godoyem.