Podczas wojny siedmioletniej wojska rosyjskie w trakcie zajęcia Berlina w 1760 roku zrabowały zgromadzone w Zeughausie eksponaty. W 1806 roku w czasie inwazji na Prusy wojsk Napoleona Bonapartego budynek po zdobyciu Berlina został ponownie splądrowany, po czym był wykorzystywany przez okupujących pruską stolicę żołnierzy jako stajnia oraz kuźnia. Prace konserwatorskie przy zniszczonym wskutek tamtych wydarzeń budynku przeprowadzono po 1815 roku pod kierownictwem architekta Karla Friedricha Schinkla, z kolei za odrestaurowanie dekoracji rzeźbiarskiej był odpowiedzialny Johann Gottfried Schadow. W tym samym roku Schinkel przedstawił królowi pomysł przekształcenia Zeughausu w „świątynię chwalebnych czynów wojskowych”, który przewidywał przeznaczenie całego parteru budynku na Trophäenhalle (pol. „Hala Trofeów”) i przeszklenie południowej fasady w celu umożliwienia widoku na wystawę broni. Pomysł ten został odrzucony z obawy przed utratą zbyt dużej ilości powierzchni na cele związane z magazynowaniem broni, jednak kilka lat później z inicjatywy księcia Augusta rozpoczęto przeobrażanie budynku w muzeum w ograniczonej formie. W 1820 roku utworzono w Zeughausie Muzeum Pamiątek (niem. Andenken-Museum), z kolei w latach 1826-1827 umieszczano w nim kolekcje cennych broni, pochodzące z kunstkamer i zamków królewskich.