220px|thumb|left|Jedna z willi na Nowym Świecie Przez cały czas zacieśniały się związki wioski z pobliskim Kłodzkiem do tego stopnia, że jej południowa część z czasem została faktycznie przekształcona w przedmieście położone za Bramą Ząbkowicką (niem.: Halbendorfer Vorstadt). W 1631 roku na terenie Ustronia Górnego i Dolnego mieszkało łącznie 9 kmieci płacących podatki kościelne, a w 1653 roku istniało tutaj 27 gospodarstw. W 1597 roku Ustronie zostało przejęte przez zakon jezuitów, który przejął wszystkie dotychczasowe dobra należące do rozwiązanego w Kłodzku zgromadzenia augustianów na mocy decyzji papieża Klemensa VIII. Ustronie weszło w skład uposażenia kolegium jezuickiego.
W 1687 roku Ustronie Górne zostało oficjalnie przyłączone w granice Kłodzka, co wiązało się z koniecznością rozbudowy pobliskiej twierdzy, zarządzonej przez cesarza Leopolda I Habsburga. Dla miejscowych właścicieli tutejszych majątków oznaczało to ponowne wykupienie przywilejów sądowych oraz związane z tym opłaty. Przez kolejne stulecia interesy jej mieszkańców podporządkowane były twierdzy. Powstały tutaj nowe budynki, jednak na pozostałym obszarze na południe od Szpitalnej Górki zakazane było wznoszenie nowych domostw.