Podzielono je na trzy galerie: na niezależną galerię malarstwa, galerię rzeźb i galerię gipsowych odlewów figur starożytnychZ powodu podziału w oficjalnej nazwie instytucji użyto liczby mnogiej Gallerie, a nie Galleria..

Wnętrza muzeum thumb|left|180px|Pietà Giovanni Bellini thumb|left|180px|Burza, Giorgione thumb|left|180px|Człowiek witruwiański Leonardo da Vinci

Po otwarciu muzeum dokonano przebudowy budynków według projektu Giannantonia Selvy. Projekt był szeroko krytykowany za swoją zbyt daleko idącą restrukturyzację, niszczącą na przykład wiele istniejących dzieł wewnątrz kościoła poprzez podział jego wnętrza na piętra w celu urządzenia sal wystawowych. Na parterze urządzono pomieszczenia uczelni. Zewnętrznie budowle nie zostały zniszczone ani zmodernizowane. W kościele nadal zachowano drewniane sklepienia pokryte błękitno-złotą polichromią, tryptyk autorstwa Antonia Vivariniego i Giovanniego d’Alemagni oraz płótno Tycjana Prezentacja Marii w świątyni.

Podczas wojen napoleońskich część zbioru została przeniesiona do Mediolanu do Pinakoteki Brera lub wywieziona do Francji. W XIX wieku galeria wzbogaciła się o kolekcję księcia Filipa Farsettiego.