Zakupił też prace niektórych swoich ulubionych artystów: Sargenta, Homera, Degasa i Renoira.
W 1919 Clark ożenił się z francuską aktorką Francine Clary (1876–1960), która podzielała jego kolekcjonerskie zainteresowania. Oboje zgromadzili znaczącą kolekcję obrazów, rysunków, grafiki, sreber, porcelany i rzeźb. Głównym punktem ich zbiorów stało się malarstwo francuskie drugiej połowy XIX w. Zakres chronologiczny zgromadzonych dzieł to XIV/XV wiek do końca XIX w. Nie ma natomiast prac powstałych w XX w. Kolekcja Clarków zachowała przez cały czas charakter wyłącznie prywatny.
W miarę powiększania się zbiorów Clarkowie zaczęli planować budowę siedziby dla ich przechowywania. Najpierw miała ona powstać w Copperstown koło Nowego Jorku, a następnie (1946) na Manhattanie. Na jesieni 1949 ich wybór padł na miejscowość Williamstown w stanie Massachusetts. 14 marca 1950 Clarkowie podpisali akt założycielski Sterling and Francine Clark Art Institute. thumb|left|Robert Sterling Clark – portret pędzla Williama Orpena (1921–1922) thumb|Francine Clark – portret pędzla Williama Orpena (1921–1922) W 1952 rozpoczęto wznoszenie budynku muzeum według projektu architekta Daniela Perry. W 1955 muzeum oddano do użytku. Pierwszym dyrektorem placówki został Peter Guille.