Katastrofą okazał się zwłaszcza związek z Idą, która po zamknięciu męża w Döbling szybko położyła bezkarną rękę na książęcym majątku. Wtedy też doszło do pierwszych wysprzedaży kolekcji z zamku w Feistritz am Wechsel i pałacu w Matzleinsdorf, w czym Idzie pomagał Johann Nepomuk Graf Wilczek. Po 1899 księżna doprowadziła do ponownego ubezwłasnowolnienia męża trwoniąc nadal majątek. Liczne procesy z wierzycielami doprowadziły w 1909 do rozprzedania dóbr po dziadku Dietrichu. Ostał się jedynie zamek Feistritz am Wechsel, który po śmierci księcia odziedziczyła córka. Ida Róża szybko zbankrutowała i zamek wraz z wyposażeniem nabył bankier Maximilian Mautner, który w roku 1923 i 1924 wysprzedał na aukcjach w Dorotheum pozostałości wielkiej kolekcji Dietricha i Sułkowskiego. Książęca córka pozbawiona dochodów pracowała jako sprzątaczka, bywało też, że jako bezrobotna korzystała ze schronienia w przytułkach. Zmarła w ubóstwie około 1934. Mimo dotychczasowego, negatywnego wizerunku Józefa Marii, wykreowanego głównie przez współczesną mu prasę okazuje się, że jego gospodarstwo rolne w Pâncota słynęło z rewelacyjnych wyników w uprawie winorośli i produkcji win, a co najważniejsze otrzymywało nagrody na wystawach rolniczych za hodowlę świń rasy Mangalica.