W 1519 r. okoliczne dobra wraz z zamkiem zostały sprzedane biskupowi krakowskiemu Janowi Konarskiemu. Od tego czasu była to własność biskupów krakowskich. W 1548 r. biskup Samuel Maciejowski napisał "gdy zamek od wielu lat jest opuszczony, do którego obwarowania, ogradzania poddani nasi obowiązani byli, uwalniając ich przeto od takowych robocizn, stanowimy, żeby po groszu od łanu płacili, póki rzeczony zamek przez nas, lub przez naszych następców nie zostanie podźwignięty, co gdy nastąpi, powinni zamek umacniać stosownie do pierwotnego przywileju". W 1598 r. ponownie wzmiankowano o złym stanie zamku (devastatum castellum seu ruinis).
W 1655 r. w ruinach zamku bronił się przez kilka dni przed Szwedami burgrabia i starosta Stanisław Kawecki. W 1865 r. władze rosyjskie nakazały rozebrać pozostałości zamku i wybudować z nich drogę do Gniazdowa.
W latach 1962, 1966-1969 prowadzono na zamku prace archeologiczne pod kierunkiem dr Włodzimierza Błaszczyka, w toku których pozyskano wiele drobnych monet obiegowych, szczególnie z okresu średniowiecza, groty bełtów, ostrogi i kilkanaście kul armatnich, które zostały znalezione w obrębie wieży bramnej.