Historia 1905–1947 thumb|left|150px|Monogram księcia Eugeniusza Książę Eugeniusz był z wykształcenia oficerem, ale sławę zdobył jako artysta. Należał do czołowych pejzażystów swojej epoki. Stworzył monumentalne malowidła dla Opery Królewskiej, Królewskiego Teatru Dramatycznego i sądu w Sztokholmie. Był też znaczącym kolekcjonerem sztuki i centralną postacią w życiu kulturalnym Szwecji. Książę Eugeniusz przybył do Waldemarsudde, niewielkiego półwyspu na Djurgården, jako młody człowiek. Później przyjeżdżał tu, żeby malować. Zimą 1892 i 1893 roku wynajmował na Waldemarsudde mieszkanie szczytowe w Gamla huset. W 1899 roku przejął majątek, a latem przyszłego roku przeniósł się do Gamla huset. Wkrótce postanowił zbudować w Waldemarsudde stały dom. Dom ten, nazywany „Slottet” („Zamek”), będący dziś głównym budynkiem kompleksu muzealnego, został zbudowany w latach 1903–1905. Jego projekt powstał we współpracy księcia z architektem Ferdynandem Bobergiem. Plan budynku stanowi zmodyfikowany wariant klasycznego, sześcioosiowego założenia z salonem otoczonym mniejszymi pokojami, ale z podkreśleniem – na wzór anglosaski – klatki schodowej. Do budynku głównego dobudowano budynek na planie kwadratu, mieszczący kuchnię i pokoje dla służby.