Na miejsce drewnianych umocnień w połowie XIV w. Świnkowie wystawili z łamanego kamienia czterokondygnacyjną wieżę mieszkalno-obronną o bardzo masywnych 2,5-metrowych murach wraz z murem obwodowymŁuczyński Romuald M. Zamki, dwory i pałace w Sudetach, Legnica, 2008, s. 389.. Wieża o wymiarach 12x18 metrów była podpiwniczona i przykryta dwuspadowym dachem. Do dziś zachował się w jej ścianie gotycki portal wejściowy.
W połowie XV w. Gunzel von Schweinichen dobudował do wieży dwuszczytowy budynek mieszkalny i nowe fortyfikacje obwodowe. Ostatnią i najdalej idącą przebudowę zamku przeprowadził w latach 1614–1660 Johann Sigismund von Schweinichen, który zmienił rodową siedzibę w renesansową rezydencję. Dzięki kontaktom z mistykami, alchemikami i różokrzyżowcami Johann Sigismund założył koło teozoficzne oraz utworzył w Świnach bibliotekę mistyczno-teozoficzną. W 1624 r. na zamku przebywał mistyk Jakub Boehme, który napisał tu Posłanie do spragnionej i głodnej duszy. Wokół niego zbierało się koło mistyków, m.in. Angelus Silesius i Abraham von Franckenberg.