Przyczyniła się do tego małżonka Wächtera, o której sam Szyszko-Bohusz we wspomnieniach wydanych po wojnie pisał tak: (...) nazywana przez nas „klępą meklemburską” antypatyczna kobieta, węsząca po wszystkich zbiorach, by coś z nich zabrać na własność, zarozumiała i bez skrupułów. W tym czasie zajęto też willę w Przegorzałach.
Prawdopodobnie w połowie 1941 roku rozpoczęto pracę nad projektem obecnego zamku, który datowany jest na 1 października 1941 roku. Budowla nazywana była Schloss Wartenberg (z niem. Schloss – zamek, Wartenberg – góra-strażnica, obserwatorium). Wszystko wskazuje na to, że Wächter nie zamierzał być uczciwy nawet wobec III Rzeszy i swoją rezydencję urządzał z przepychem pod pretekstem budowy sanatorium. Projekty tej budowli, stylizowanej na nadreńskie zamki z okresu romantyzmu, zmuszony był sporządzić i podpisać osobiście profesor Szyszko-Bohusz. Istnieją dwa projekty; na pierwszym zamek jest niższy, co zapewnia dominującą pozycję willi, drugi odpowiada dzisiejszemu wyglądowi założenia. Oprócz polskiego, na projekcie widnieją nazwiska dwóch austriackich architektów: Richarda Pfoba i Hansa Petermaira.