W 1050 r. doszło do kolejnego już konfliktu króla z Godwinem. Tym razem jednak potężny earl przegrał i musiał udać się na wygnanie. Anglię opuścił też w 1051 r. Harold, który udał się do Irlandii ze swoim młodszym bratem, Leofwinem. Latem 1052 r. Godwin powrócił jednak z wygnania do południowej Anglii. Niedługo później na północy wylądował Harold i pokonał lokalne wojska królewskie. Następnie połączył się ze swoim ojcem i wspólnie wymusili na Edwardzie powrót do stanu sprzed 1051 r. W 1053 r. zmarł Godwin i Harold odziedziczył jego tytuł earla Wesseksu. W 1058 r. został dodatkowo hrabią Hereford. Stanął również na czele anglosaskich magnatów, którzy sprzeciwiali się pronormandzkiej polityce Edwarda Wyznawcy, który otaczał się na swym dworze przybyszami z Normandii i powierzał im różne lukratywne godności.
Wzrastała również potęga rodu Harolda. W 1055 r. jego brat Tostig został earlem Northumbrii, co zakończyło się rebelią niezadowolonego Elfgara, earla Anglii Wschodniej. Elfgar sprzymierzył się z Walijczykami. Przeciwko buntownikowi wyruszył Harold, który bez wydania bitwy zmusił Walijczyków do podpisania pokoju. W 1057 r. Harold otrzymał we władanie pogranicze walijskie.