Arsenał na początku XIX wieku ocalał przed rozbiórką, która dotknęła większość murów obronnych dzięki interwencji senatora Feliksa Radwańskiego. W latach 1854–1861 został przebudowany przez Antoniego Stacherskiego. Nadbudowano piętro z przeznaczeniem na magazyn i koszary, a budynek otrzymał kształt włoskiego, wczesnorenesansowego zameczku. W 1874 r. gmina ofiarowała budynek razem z basztami Stolarską i Ciesielską na cele muzealne księciu Władysławowi Czartoryskiemu. Zostały zakupione również sąsiednie kamienice i część dawnego klasztoru oo. Pijarów. Po adaptacji budynków, opracowanej przez Maurycego Ouradou powstał zespół architektoniczny, składający się z pałacu, tzw. klasztorka i arsenału, połączonych ze sobą pomostami.
W roku 1876 został poświęcony i otwarty Klasztorek. Data uważana jest za otwierającą nowy okres w historii muzeum, zwanego Muzeum Książąt CzartoryskichKraków – Nasze miasto.. Przez długi czas w Arsenale mieściła się Biblioteka Czartoryskich, od 1961 r. księgozbiór znajduje się w kamienicy przy ul. św. Marka 17 w Krakowie. W latach 1965–1975 Arsenał został przebudowany według projektu S. Świszczowskiego. Dach czterospadowy zastąpiony został dachem płaskim ze świetlikami.
18 stycznia 1932 budynek został wpisany do rejestru zabytków.