W czasie bombardowania 1939 spichlerz został wypalony w środku przez bomby zapalające, jednak jego grube mury ocalały i w takim stanie dotrwał do końca wojny. Po wojnie na polecenie władz komunistycznych przystąpiono do rozbiórki spichlerza, którą wstrzymał prof. Jan Zachwatowicz, naczelny architekt odbudowujący Warszawę. Jednak zachodnie skrzydło spichlerza zdążono już wyburzyć, a odzyskany budulec wykorzystano prawdopodobnie na różne naprawyGminna Ewidencja Zabytków Nowego Dworu Mazowieckiego.
Współcześnie W 1999 roku spichlerz zagrał rolę Zamku Horeszków w ekranizacji poematu Adama Mickiewicza Pan Tadeusz w reżyserii Andrzeja Wajdy.
W 2010 roku ruina spichlerza została sprzedana przez miasto Nowy Dwór Mazowiecki lokalnemu deweloperowi. W planach była odbudowa zachodniego skrzydła, powstanie 5-gwiazdkowego hotelu wraz z lądowiskiem na śmigłowce, nowymi apartamentami oraz przystanią dla żeglarzy.
Z powodów finansowych dewelopera spichlerz popada w coraz większą ruinę. Właścicielowi budynku oraz jego żonie postawiono zarzuty celowego uszkodzenia zabytku.