W 1973 na wystawie fotografiki malarstwa z lat 1890–1914 poznał Roberta Mapplethorpe’a, z którym połączyło go zamiłowanie do sztuki oraz pasja fotograficzna i z którym pozostawał w związku homoseksualnym do końca swojego życia. Po tej wystawie Wagstaff doszedł do wniosku, że dawne fotografie stanowią najmniej docenione dzieła sztuki. Sprzedał dotychczas gromadzoną kolekcję obrazów i za uzyskane środki zaczął skupować XIX-wieczne amerykańskie, angielskie i francuskie fotografie. Następnie pod wpływem swojego partnera rozszerzył swoje zainteresowania fotografiką w kierunku współczesnych, często dość kontrowersyjnych trendów. Za 500 000 dolarów kupił poddasze budynku przy West 23rd Street, które ofiarował Mapplethorpe’owi na pracownię, a później zakupił pomieszczenia przy Bond Street z przeznaczeniem na profesjonalną ciemnię. Wkrótce kolekcję Samuela Wagstaffa uznano za jedną z najlepszych prywatnych lokat kapitału w Stanach Zjednoczonych. Wystawa fotografii należących do Wagstaffa została zorganizowana przez Corcoran Gallery of Art w Waszyngtonie w 1978. Część kolekcji została opublikowana w formie albumu, a następnie była wystawiana w wielu galeriach amerykańskich. Kolekcja fotografii została sprzedana J. Paul Getty Museum w Malibu w Kalifornii, w 1984, za niebagatelną kwotę 5 milionów dolarów.