Schlieben planował wybudować w miejscowości kościół oraz Domek Loretański. Osiedlenie się bernardynów miało skutkować, w zamyśle fundatora, nawracaniem przez nich protestantów w okolicach Gdańska i Elbląga. Schlieben podarował zakonnikom nie tylko miejsce pod budowę kościoła i klasztoru, ale również cztery morgi pruskie gruntu, łąkę oraz zwierzęta gospodarcze (dwa konie i dwa woły) i dwa wozy. Zrezygnował z pobierania opłaty za wyrąb drzewa w lesie oraz za połów ryb. Również jego syn wsparł franciszkanom obdarowując ich ziemią.
Po rozbiorach Polski tereny wokół Elbląga zostały włączone do Prus. Wtedy właśnie klasztor zaczął podupadać, a jego ostateczny koniec i zamknięcie nastąpiły 6 kwietnia 1826 roku, kiedy trzech ostatnich zakonników przeniesiono do innych klasztorów. Budynki klasztorne zostały w części rozebrane, a te, które pozostały, coraz bardziej niszczały, aż popadły w całkowitą ruinę.
Z nastaniem lat 90. XX wieku ruinami kościoła zainteresowała się minister kultury i sztuki Izabella Cywińska. Zamysłem ministerstwa było stworzenie w odbudowanym obiekcie domu pracy twórczej dla ludzi kultury.