W XV wieku wymieniani są w źródłach jako właściciele kasztelan czechowski Dobiesław Chlewicki i jego brat Strasz Chlewicki, którzy przypuszczalnie zbudowali zamek murowany, a właściwie pierwszą murowaną fortyfikację, która w źródłach z tego okresu była określana jako "lapide muratum".. Po Dobiesławie dobra objęli około 1489 roku jego synowie Stanisław i Szymon. Po śmierci Szymona po 1522 roku właścicielem Chlewisk został Piotr a następnie jego syn Jakub, po którego śmierci w 1594 roku majątek odziedziczyli jego synowie, w tym Wawrzyniec. On to w 1605 zamek przebudował i odnowił, o czym informuje zachowana łacińska tablica pamiątkowa. Jego synem był rotmistrz Mikołaj Chlewicki, który w czasach króla Jana Kazimierza osiągnął godność senatora. W XVIII wieku właścicielami zamku zostali Józef i Aleksander Podkański, którzy to zapoczątkowali kolejną przebudowę zmieniając obronny charakter obiektu w rezydencję pałacową.