Adlera dla seminarium, przyczynił się również do poszerzenia jej zbiorów, dzięki czemu jej kolekcja żydowskich książek i rękopisów stała się największa na świecie. Muzeum Żydowskie zostało założone w 1904 roku bibliotece Żydowskiego Seminarium Teologicznego, w którym mieściło się przez ponad cztery dekady. Było ono pierwszą tego typu instytucją w Stanach Zjednoczonych i jednym z najstarszych, istniejących muzeów żydowskich na świecie. Warburg dokonał później licznych, kolejnych darowizn na rzecz muzeum. Także Schiffowie przekazali późniejszemu seminarium budynek na rogu Broadwayu i 122nd Street. W 1944 roku Frieda Schiff Warburg, wdowa Feliksie Warburgu, ofiarowała ich rodzinną rezydencję przy 1109 Fifth Avenue/92nd Street z przeznaczeniem na muzeum. Budynek, zaprojektowany w stylu francuskiego gotyku przez architekta C. P. H. Gilberta i ukończony w 1908 roku jest od 1947 roku siedzibą Muzeum. Pod koniec lat 50. i w latach 60. XX wieku muzeum przestało koncentrować się na kulturze żydowskiej, a stało się miejscem promocji awangardowej sztuki amerykańskiej. Wystawiło jako pierwsze muzeum prace tak znaczących artystów, jak Robert Rauschenberg, Jasper Johns i Philip Guston. Na początku lat 70.