W 1577 roku Wedigo Osten odsprzedał swą część miasta wraz ze starym zamkiem rodzinie Blucherów. Wiek XVI przyniósł generalną przebudowę zamku, który odtąd stał się budowlą renesansową. Zamek w swej historii niejednokrotnie ulegał zniszczeniom. Największe zniszczenia przyniósł pożar w 1860 roku, który strawił dużą część zamku. Spalony przez Sowietów w 1945 został odbudowany dopiero w 1965 roku. Od XVI wieku aż do II wojny światowej zamek pełnił rolę rezydencji pałacowej. Po wojnie zamek przejęły władze Płotów. Obecnie w starym zamku mieści się Miejska Biblioteka Publiczna. Nowy Zamek – Historia nowego zamku w Płotach sięga XVI wieku, a dokładnie 1577 roku, kiedy to Ostenowie sprzedali stary zamek rodzinie Blucher, jednak postanowili pozostać w Płotach. Zakupili działkę niedaleko starego zamku i zdecydowali że wybudują drugi zamek, nowy, nieco mniejszy od starego. Budowa trwała w latach 1606–1618. Nowy zamek był architektonicznie podobny do starego. Była to budowla 2-kondygnacyjna o dwóch skrzydłach otoczona fosą i obwałowaniami. Zamek odnowiono na początku XVIII wieku. Przez lata zamek stawał się coraz bardziej reprezentacyjną budowlą, której zazdrościło niejedno miasto. Ostatnim potomkiem z rodu Ostenów był Karol.