Jednocześnie kosztami eksploatacji obiektu ministerstwo obciążało właścicieli. W 1960 skończyła się kadencja konsula Szwecji, jednak właścicielom odmówiono prawa do zajęcia opuszczonych przez niego pomieszczeń, przeznaczając je na rezydencję konsula brazylijskiego. Ponownie przy tej okazji obciążono właścicieli kosztami remontu, częściowo też usunięto zieleń otaczającą pałac, zmniejszono też o 150 m² teren posesji. Na krótko przed tymi zmianami nakręcono w willi fragmenty filmu fabularnego Walet pikowy (reż. Tadeusz Chmielewski), w którym widoczne są oryginalne nasadzenia parku.
Konsul brazylijski Michael Joseph Corbett, promując muzykę swojego kraju, założył i finansował zespół Bossa-Nova, w którym grali polscy muzycy. Po jego wyjeździe do Azji MSW zrezygnowało z kontrolowania obiektu, jednak w 1974 założono spółdzielnię mieszkaniową, w której skład miała wejść nieruchomość po zaadaptowaniu jej do roli budynku wielorodzinnego. Spółdzielcy uzyskali poparcie premiera PRL Piotra Jaroszewicza. Nieopodal Willi Piotrowskiego, wśród otoczonej zielenią historycznej sopockiej zabudowy, wybudowano wieżowiec – pierwszy z planowanego osiedla. Mimo sprzeciwów właścicieli willi, państwo wpłaciło na ich konto ekwiwalent za wywłaszczoną część nieruchomości.