Coraz bardziej uszczuplany teren nie sprzyjał rozwojowi tego miejsca; powstały jeszcze w XIX wieku pierwsze betonowe korty (w początkach XX wieku pokryte asfaltem), lecz powoli park przestał być miejscem sprzyjającym wysłuchaniu koncertów. Najpierw stał się terenem sportowym i wystawowym, później, w okresie międzywojennym był również miejscem manifestacji politycznych.
W czasie okupacji niemieckiej Dolina Szwajcarska nie była odwiedzana, m.in. ze względu na bliskie sąsiedztwo siedziby Gestapo w al. Szucha. W czasie powstania warszawskiego przebiegała tędy linia walk, w trakcie których dolina uległa kompletnemu zniszczeniu. Wojna ostatecznie zniszczyła to, co pozostało po wcześniejszej parcelacji parku (pozostaje ok. 1/6 powierzchni z początkowej własności Śleszyńskiego). Co prawda pałacyk Śleszyńskich przetrwał jako jeden z nielicznych budynków Warszawy, jednak teren ten, zamieniony na dzielnicę ambasad, już nigdy nie odzyskał swej pozycji salonu muzyczno-kulturalnego. Przyczyną takiego stanu rzeczy mogła być niewielka powierzchnia, a także brak wydarzeń kulturalnych (zabrakło teatrzyku ogródkowego, koncertów, maskarad i fajerwerków) – w większości zamkniętych w salach teatrów, oper, domów kultury lub przeniesionych do powstających wówczas „parków ludowych”.