Giuliani junior przez lata skrzętnie ukrywał rodzinny sekret. We wspomnieniach napisał tylko, że ojciec uczył go boksu, interesował się sportem i głosował na partię republikańską. Gdy Rudy w 1981 r. zaczął robić karierę w Departamencie Sprawiedliwości i FBI rutynowo pytała go o zdarzenia z przeszłości, mogące utrudnić mu walkę z przestępczością, nawet nie zająknął się o mafijnych powiązaniach ojca. Dziś Giuliani mówi, że to właśnie ojciec wpoił mu szacunek do prawa. Harold nie chciał, by syn poszedł w jego ślady. Rudy wziął to sobie podobno do serca.
Karierę polityczną rozpoczął jako prokurator, doprowadzając do skazania kilku czołowych finansistów z Wall Street za insider trading. Później był urzędnikiem w Departamencie Sprawiedliwości.
Burmistrz Nowego Jorku Pierwszy raz startował w wyborach na burmistrza Nowego Jorku w 1989, z ramienia Partii Republikańskiej, jednak przegrał. Burmistrzem został dopiero w 1993.
Na początku swojej kadencji Giuliani wzmocnił policję i przeprowadził kampanię walki z przestępczością, oczyszczając Nowy Jork, który wcześniej był najbardziej niebezpiecznym miastem Stanów Zjednoczonych.