Po II wojnie światowej władze socjalistyczne kilkakrotnie podejmowały próby uczynienia z Dworu Oliwskiego miejsca użytku publicznego, np. tzw. domu pracy twórczej, lecz ostatecznie żaden z projektów nie został zrealizowany. Pod koniec lat 60. pojawił się pomysł przekształcenia kompleksu dworskiego w chlewnię, ale ten również upadł. Dwór pozostawiono bez renowacji, a z czasem również bez nadzoru, co doprowadziło do jego kompletnej dewastacji. W połowie lat 80. całkowicie zawaliły się zabytkowa stodoła i spichlerz.
Architektura Jedynym w całości zachowanym do dziś zabytkowym budynkiem w obecnym kompleksie Dworu Oliwskiego jest barokowy budynek mieszkalny z XVII w., w którym mieści się obecnie hotelowa restauracja, bar oraz herbaciarnia. Ma on kształt zwartej, prostej, dwukondygnacyjnej bryły założonej na planie prostokąta i pokrytej mansardowym zadaszeniem. Ozdoby budynku stanowią okiennice oraz profilowane, drewniane gzymsy okalające budynek poniżej dachu. Wewnątrz zachowała się sień oraz klatka schodowa w stylu rokoko. Na pierwszym piętrze podziwiać można stiuki z ozdobnymi malowidłami. W podziemiach budynku znajduje się XVI-wieczna piwnica o charakterystycznym sklepieniu krzyżowym, w której mieści się winiarnia (po raz pierwszy urządzona tam przez Jakuba Schwabego).