Imię Izabela otrzymała zapewne na cześć siostry swojego biologicznego ojca, Izabeli, wdowy po wojewodzie krakowskim Janie Klemensie Branickim. Izabela miała czworo rodzeństwa: siostrę Aleksandrę, żonę Franciszka Salezego Krasickiego, generała wojsk polskich Księstwa Warszawskiego Michała, marszałka wołkowyskiego Kazimierza oraz Stanisława, ministra oświaty i wyznań w Królestwie KongresowymA. Boniecki, Herbarz polski. T. 7: Grabowscy – Hulkiewiczowie, Warszawa 1904, s. 10–11..
Izabela i jej rodzeństwo wychowywani byli w wierze katolickiej, którą wyznawała ich matka, chociaż ojciec był wyznawcą kalwinizmu. Edukacją Izabeli zajmowała się nauczycielka francuskiego pochodzenia, a do grona jej przyjaciółek należała między innymi Krystyna Magdalena Radziwiłłówna, córka założycielki romantycznego ogrodu Arkadii Heleny z Przezdzieckich RadziwiłłowejN. Kicka, Pamiętniki, Warszawa 1972, s. 96–97.S. Wasylewski, Twarz i kobieta, Wydawnictwo Literackie, Kraków 1960, s. 131..