Inni artyści, którzy przewinęli się przez dom Florence Griswold, to m.in.: Louis Paul Dresser, Carleton Wiggins, William Henry Howe, Bruce Crane, Frank Vincent DuMond, Clark Voorhees, Henry Rankin Poore, Allen B. Talcott, Lewis Cohen i Henry C. White. Poszczególni twórcy z wdzięczności za udzieloną gościnność namalowali na ścianach i drzwiach domu ponad 40 obrazów, zachowanych do dziś i traktowanych jako istotna część kolekcji muzeum.
W 1937, krótko przed śmiercią Florence Griswold, artyści, przyjaciele i krewni zmarłej założyli Florence Griswold Association - stowarzyszenie mające na celu zachowanie jej domu jako muzeum sztuki oraz jako wybitnego przykładu wczesnej architektury Nowej Anglii. W 1947 Florence Griswold House został otwarty dla publiczności jako miejsce wystaw sezonowych. W 1955 Florence Griswold Association połączyło się z nowo powstałym Lyme Historical Society, poszerzając swoje cele o gromadzenia i zachowanie przedmiotów i archiwaliów dotyczących historii miast Lyme i Old Lyme. W muzeum początkowo pracowali wolontariusze, dopiero w 1972 zatrudniony profesjonalny personel. Zarządza on do dziś muzeum, mając do pomocy grupę wolontariuszy. W 1978 muzeum po raz pierwszy uzyskało akredytację AAM, odnowioną w 1990. W 1993 zostało wpisane na listę National Historic Landmark.