Od zakonu benedyktynek tereny te nabył biskup krakowski Jan Prandota, włączając je do własności biskupstwa krakowskiego, do którego jako domena kościelna należały do 1789. Z inicjatywy Jana Prandoty wybudowano, albo przynajmniej rozbudowano na wzgórzu twierdzę, wtedy jeszcze drewnianą, ale być może już z murowaną wieżą, której najstarsze partie pochodzą z drugiej połowy XIII wiekuTomasz Jurasz, Zamki i ich tajemnice, Iskry, Warszawa 1972, s. 62.. Zamek murowany najprawdopodobniej stopniowo zaczął powstawać od drugiej połowy XIII aż do początków XIV w.
W 1294 roku biskupem krakowskim został Jan Muskata, a ponieważ zamek Lipowiec należał do dóbr biskupstwa krakowskiego Muskata został jego gospodarzem, wykorzystując zamek jako punkt oporu wobec króla Władysława Łokietka. Z zamku Muskata razem ze swoim szwagrem Gerlachem de Kulpe dokonywał także wypadów rabunkowych, dokonując grabieży mienia okolicznej ludnościJózef Siemek, Śladami klątwy, Ludowa Spółdzielnia Wydawnicza 1970, s. 68.. Zamek Lipowiec został przez Muskatę znacznie rozbudowany, chociaż trudno jest dokładnie określić skalę podjętych prac budowlanychBohdan Guerquin, Zamki w Polsce, Arkady, Warszawa 1984, s. 199..