Podczas okupacji hitlerowskiej, w grudniu 1940 roku Niemcy utworzyli getto dla żydowskich mieszkańców. Przebywało w nim około 850 Żydów. W marcu 1942 zostali wywiezieni do getta w Warszawie, a stamtąd do obozu zagłady Treblinka II i tam zamordowani.
W dawnym folwarku Olechnowiczów „Czerwony Dwór” od końca XIX wieku działał szpital, gdzie w czasie leczenia w 1911 zmarł wybitny litewski kompozytor i malarz Mikalojus Konstantinas Čiurlionis, co upamiętnia tablica pamiątkowa na ścianie budynku. Od 1928 w Czerwonym Dworze funkcjonuje Zgromadzenie Sióstr Franciszkanek Rodziny Maryi, które obecnie prowadzi Specjalny Ośrodek Szkolno-Wychowawczy im. Abpa Felińskiego w Markach-Pustelniku.
Etymologia nazwy [...] podanie głosi, jakoby przed trzystu laty pewien potomek znakomitego rodu, dziedzic bardzo licznych włości, przybywszy do Warszawy, przepychem i zbytkiem chciał przewyższyć wszystkich mieszkańców. Dostatki pozwalały mu na wielkie uciechy, ale przyjemności i hulaszcze życie zniszczyły cały jego majątek, który też wkrótce utracił. Doprowadzony do zupełnej ruiny i ubóstwa tułał się zubożały magnat po Warszawie i żywiony był z litości przy furcie klasztornej ojców Bernardynów. Po nędzy przyszła i słabość niebezpieczna, a ta rozbudziła w nim żal za grzechy i chęć ucieczki od życia i świata.