Colonna wyłożył fortunę na przebudowę i rozbudowę zamku w Toszku, którą powierzył architektowi Giovanniemu Seregni. W latach 1650–1666 pod okiem włoskiego mistrza warownia zmieniła swoje oblicze. Dobudowano baszty flankujące budynek bramny, wzniesiono nowy budynek pałacowy na rzucie prostokąta, flankowany dwiema narożnymi basztami. Od strony dziedzińca pojawiły się loggie i galerie arkadowe. Wzniesiono również budynek stajni, który w 1760 r. przekształcono na oranżerię. Na podzamczu północną bastyję rozbudowano na tzw. dom burgrabiego. Rozbudowano także budynek bramny, który otrzymał boniowany portal kamienny z herbem Colonny w kartuszu, datą „1666” i napisem fundacyjnym w j. . Było to ostatnie dzieło hrabiego, który zmarł 31 marca 1666 r. w Opolu. W XVIII w. rezydencja kilkakrotnie zmieniała właściciela, najpierw był nim baron Johann Dietrich von Peterswald, potem Franciszek Karol Kotuliński, Pasadowscy, w końcu rodzina poety Josepha von Eichendorffa. W 1797 r. Eichendorfowie sprzedali posiadłość hrabiemu Franciszkowi Adamowi Gaschinowi. Po pożarze z 1811 r. nie planowano już odbudowy rezydencji;