W czasie II wojny światowej w pobliskim Kamińsku działał pierwszy w Prusach Wschodnich obóz jeniecki (Stalag IA Stablack). Wojska 331 Dywizji Strzeleckiej 3 Frontu Białoruskiego zdobyły miasto 4 lutego 1945. Zastraszoną ludność czerwonoarmiści spędzili do piwnic domów, które następnie podpalili; natomiast gwałconym pod miastem kobietom odcinano języki.
W czerwcu 1945 roku miasto zostało przekazane polskiej administracji. Po II wojnie światowej pozostała w mieście ludność niemiecka (przeważająca większość uciekła przed nacierającą Armią Czerwoną) została wysiedlona, a ich miejsce zajęli polscy przesiedleńcy z Kresów Wschodnich (głównie z Wileńszczyzny, Grodzieńszczyzny, Nowogródczyzny i Polesia) oraz osadnicy z Polski centralnej. W 1947 roku trafił transport Ukraińców przesiedlonych w ramach akcji „Wisła”. Górowo stało się wielonarodowym i wielowyznaniowym ośrodkiem o zróżnicowanej kulturze. Do 1961 miasto było siedzibą powiatu, najpierw iławeckiego, później górowskiego.