Muzeum Swoje zbiory Isabella i Jack Gardner początkowo trzymali w domu, ale w 1896 roku stwierdzili, że jest on już za mały na ekspozycję dzieł sztuki. Zwrócili się do jednego z architektów z prośbą o zaprojektowanie odpowiedniego budynku. Chociaż Jack Gardner wkrótce zmarł, Isabella kontynuowała koncepcję budowy muzeum. W 1898 roku kupiła w tym celu działkę. Architekt Willard T. Sears sporządził plany i w czerwcu 1899 ruszyła budowa Fenway Court. Isabella Stewart Gardner nadzorowała regularnie budowę. Budowa została zakończona w listopadzie 1901, a następny rok Gardner spędziła na rozmieszczaniu swojej kolekcji w nowym budynku.
1 stycznia 1903 roku Isabella Stewart Gardner otworzyła muzeum, zapraszając znajomych do udziału w wieczorze inauguracyjnym, który uświetnił występ członków Boston Symphony Orchestra. 23 lutego muzeum otwarto dla publiczności. Gardner stwierdziła, że jej muzeum jest przeznaczone dla artystów, muzyków i ludzi myślących. Jedno z pomieszczeń muzealnych (Gothic Room) John Singer Sargent używał jako swoje studio. W Muzeum śpiewała Nellie Melba, tańczyła tam również Ruth St.