Wykorzystując swoje wpływy na dworze, doprowadził do poszerzenia i przedłużenia Bautzner Strasse (głównej ulicy prowadzącej z centrum do Loschwitz), a dzięki kontaktom swojego zaufanego sekretarza i partnera życiowego - Johanna Georga Fischera (1763–1860), udało mu się do końca 1805 r. zakupić pięć z ośmiu działek dostępnych w Loschwitz. Tereny te nazywano Findlaters Weinberg lub Findlaterscher Weinberg. Znajdują się one dziś pomiędzy Łabą i Bautzner Strasse. Na nich architekt Johann August Giesel rozpoczął stawianie pałacu ukończonego w roku śmierci lorda. Klasycystyczna budowla wkrótce uzyskała miano najpiękniejszego pałacu w Dreźnie. Ogilvy złożył także radzie miejskiej Drezna propozycję ufundowania wieży kościoła Trzech Króli (Dreikönigskirche). Posiadłość na Helfenbergu, jeszcze za swojego życia podarował Fischerowi, który następnie w celu uregulowania spraw spadkowych, zmuszony był skontaktować się z krewnymi zmarłego lorda. Wówczas wyszedł na światło dzienne związek łączący go z Ogilvym. Żona Fischera mieszkająca na Helfenbergu z trójką dzieci, rozwiodła się z nim. Po śmierci Fischer został pochowany razem z Ogilvym obok kościoła w Loschwitz. Na nagrobku znajduje się inskrypcja: Lord Jacob Graf v. Findlater, Pair v. Schottland.