W 1465 kołobrzescy mieszczanie napadli i zrujnowali zamek. Von der Ostenowie odbudowali warownię, dobudowując nowy budynek o trzech kondygnacjach w południowo-wschodnim narożu. Od 1577 zamkiem władali Blucherowie, którzy dokonali przebudowy obiektu na renesansową rezydencję rodową. W końcu XVIII wieku rozebrano część południową założenia. W 1860 zamek strawił pożar i pozostawał on w ruinie do czasów powojennych.
W latach 1959–1967 zamek został odbudowany i przeznaczony na miejskie instytucje kultury, w tym bibliotekę (przy okazji zniszczono oryginalne malatury w pomieszczeniachZabytek.pl, STARY ZAMEK, PIERWOTNIE SIEDZIBA RODU OSTENÓW I BLÜCHERÓW). Z budowli średniowiecznej do naszych czasów dochowały się tylko dolne kondygnacje wieży oraz fragment muru obwodowego z kamienia.
Obecnie, oprócz biblioteki, zamek mieści ośrodek pomocy społecznejtablice informacyjne i pamiątkowe in situ.
Opis Do najbardziej okazałych pomieszczeń zamku należy komnata na parterze, obecnie nazywana Salą Rycerską, o bogato zdobionych sklepieniach oraz okazałym kominku architektonicznym. Po wojnie zrekonstruowano m.in. renesansowe drzwi tego pomieszczenia.