W 1901 budynek został rozebrany.
Jesienią 1926 rozpoczęto budowę nowego gmachu, aby zgromadzić w jednym miejscu zbiory porozwieszane w różnych budynkach kampusu, a także aby mieć rezerwę powierzchni pod przyszłe zbiory. Zaprojektowana przez Egertona Swartwouta galeria sztuk pięknych (Gallery of Fine Arts) została otwarta 27 września 1928. Funkcjonuje do dziś i zawiera część zbiorów Galerii Sztuki Uniwersytetu Yale.
Współczesny gmach Współczesny główny gmach instytucji jest jednym z pierwszych Louisa Kahna i zarazem pierwszym z trzech budynków zaprojektowanych przez niego dla potrzeb galerii. Budynek oddano do użytku w listopadzie 1953. Pełnił funkcję sali wystawowej Yale University Art Gallery and Design Center, stanowiąc przy tym atelier dla studentów wydziału sztuki i architektury.
Architektura Gmach główny został wybudowany z kamienia, betonu, szkła i stali. Jego fasadę główną stanowi ściana pozbawiona okien. Tak zwany budynek Kahna stanowił radykalny przełom w tradycji neogotyku, w duchu której wzniesiono wiele budynków na terenie campusu, w tym budynek Swartwouta.