Przez około 200 lat gmach był siedzibą najważniejszych urzędów w państwie – służb skarbowych, morskich, podatkowych, Ministerstwa Księstwa Lancaster oraz Kornwalii, Urzędu Generalnego Kontrolera Ziem Królewskich i innych. Przez około 100 lat miała tu swoją główną siedzibę Royal Academy, prestiżowa królewska instytucja artystyczna. Do ważnych instytucji, których biura mieściły się w tym miejscu, należy również Royal Society (będące odpowiednikiem akademii nauk) oraz Society of Antiquaries of London (zajmujące się m.in. badaniami historycznymi, archeologią, historią sztuki, architektury, konserwacją zabytków). Od powstania w 1837 rezydowała tu Government School of Design, przemianowana następnie na Royal College of Art (pl. Królewską Akademię Sztuki). W 1853 została zmuszona do opuszczenia budynku z uwagi na rozrost Centralnego Rejestru Urodzeń Ślubów i Zgonów (ang. Registrar General of Births, Marriages and Deaths). Część pomieszczeń zajmował także Uniwersytet Londyński. Przez krótki czas mieściły się tu biura Admiralicji.
W 1604 roku w Sommerset House podpisano traktat pokojowy (tzw.