Po bitwie pod Białą Górą dobra w Brannej zostały skonfiskowane, jako należące do protestantów. Otrzymał je jako lenno książę Karol I Liechtenstein (Karl von Liechtenstein). Był to równocześnie koniec zamku jako siedziby rodowej, choć jeszcze podczas wojny trzydziestoletniej wybudowano fortyfikacje zamkowe, a Kolštejn był silnym punktem wśród fortyfikacji wojsk cesarskich. Stacjonowało w nim na stałe wojsko, a z okolicznych włości Liechtensteinów zwożono cenne przedmioty. Jednocześnie powstały także szkody, których nigdy potem już nie naprawiono.
W kolejnych wiekach Kolštejn był siedzibą zarządcy dóbr książęcych, ale stopniowo tracił na znaczeniu. Na przełomie XVIII i XIX wieku w jednym ze skrzydeł umieszczono książęcy browar, zniszczony po 1850. Inne części kompleksu służyły różnym celom, m.in. w II połowie XIX wieku działała szkoła. Niektóre sale były wynajmowane, także do celów teatralnych i mieszkalnych.
W 1926 część zamku strawił pożar. Książę Liechtenstein dokonał prowizowycznej naprawy i sprzedał zamek miastu oraz dwóm organizacjom chrześcijańskim. Od 1929 działało w nim kino. Podczas mobilizacji w 1938 służył jako koszary armii czechosłowackiej. Po układzie monachijskim całość zamku przejęła gmina.