Rodzina Jego pierwszą żoną była Jadwiga Brum (1898–1970), działaczka KPRP i FPK, uczestniczka ruchu oporu we Francji, członek PPR i PZPR. Drugą żoną została Natalia Wilder (1912–1992), krytyk literacki i tłumacz literatury rosyjskiej, członek Związku Literatów Polskich (używająca m.in. pseudonimu Karol Wilt). Pasierbem Zygmunta Modzelewskiego był Karol Modzelewski.
Ordery i odznaczenia mały|250x250px|Grób Zygmunta Modzelewskiego Order Budowniczych Polski Ludowej (22 lipca 1954) Order Sztandaru Pracy I klasy (15 kwietnia 1950) („w związku z 50-tą rocznicą urodzin za wybitne zasługi w pracy politycznej i w dziale budownictwa Polski Ludowej”). Krzyż Komandorski z Gwiazdą Orderu Odrodzenia Polski (22 lipca 1949) („za wybitne zasługi w służbie państwowej”). Krzyż Komandorski Orderu Odrodzenia Polski (18 września 1945) („za wybitne zasługi w dziedzinie propagowania idei demokratycznej, jak również w dziedzinie organizacji P.A.P.