Fundatorzy ci zbudowali najpierw proste wiaty dla potrzebujących schronienia, zastąpione później drewnianymi szałasami. Po 1529 roku te tymczasowe konstrukcje były stopniowo zastępowane stałymi budynkami z kamienia. Girolamo Emiliani zapoczątkował również zwyczaj, upowszechniony później w mieście, edukacji sierot w dziedzinie sztuki i literatury, zaczął też uczyć młodych ludzi śpiewu, co doprowadziło w XVII wieku do utworzenia w Ospedaletto szkoły muzycznej, złożonej z młodych dziewcząt.
Kościół W 1528 roku przy hospicjum została założona niewielka kaplica. W 1575 roku rozpoczęto budowę kościoła poświęconego Matce Bożej patronce opuszczonych (Santa Maria dei Derelitti), którego projekt przedłożył Andrea Palladio. Jednak z powodu braku funduszy prace budowlane przeciągnęły się aż do 1662 roku, kiedy to kupiec Bartolomeo Cargnoni uczynił duży zapis na rzecz kościoła. Wpłynęło na przyspieszenie i rozszerzenie prac budowlanych. Przy budynku hospicjum pracowali Antonio Sardi i jego syn, zanim po dwóch latach zostali, w wyniku sporów, zwolnieni. Osiągnięciem Sardiego była eliptyczna klatka schodowa w nowym skrzydle instytutu, zrealizowana w latach 1664–1666, łącząca elementy palladiańskie ze stylem barokowym. W 1666 roku budowę przejął Baldassare Longhena realizując fasadę kościoła (1670–1672) i jego wnętrze.