19 września 1863, w okresie rozbiorów, z okna pałacu członkowie Żandarmerii Narodowej dokonali zamachu na przejeżdżającego Nowym Światem namiestnika carskiego Fiodora Berga. W odwecie pałac został splądrowany przez żołnierzy rosyjskich. Mienie mieszkańców zostało wyrzucone na bruk, przeniesione pod pobliski pomnik Mikołaja Kopernika i spalone. Z mieszkania siostry Fryderyka Chopina Izabeli Barcińskiej wyrzucono fortepian kompozytora, co opisał Cyprian Kamil Norwid w wierszu Fortepian Szopena. Zniszczeniu uległa też cenna biblioteka i przygotowane do druku prace mieszkającego w domu Zamoyskich orientalisty Józefa Szczepana Kowalewskiego.
W 1863 pałac został skonfiskowany przez władze rosyjskie i zamieniony na gmach rządowy. Od 1867 w pałacu mieściła się siedziba Zarządu Inżynierii Warszawskiego Wojennego Okręgu.
W dwudziestoleciu międzywojennym w pałacu mieściło się Ministerstwo Spraw Wewnętrznych (nr 69) oraz Główna Komenda Policji Państwowej (nr 67).
Podczas obrony Warszawy w 1939, od 8 do 17 września, w budynku nr 69 miało swoją siedzibę Dowództwo Obrony Warszawy, co upamiętnia tablica pamiątkowa z piaskowca wmurowana w 1950. Pałac został uszkodzony w czasie nalotów Luftwaffe.