Po aneksji Austrii przez III Rzeszę i w latach II wojny światowej rodzinę Wittgensteinów dotknęły prześladowania ze strony nazistów. Związane były z faktem, że w myśl ustaw norymberskich Wittgensteinowie mieli status pochodzenia żydowskiego, choć związek ów miał daleki charakter. Część rodziny, brat Wittgensteina, musiał wyemigrować do USA. Wittgenstein spędził ten okres w Anglii.
Karl & Leopoldine Wittgenstein Karl Wittgenstein (8 kwietnia 1847 – 20 stycznia 1913), inżynier, biznesmen, mecenas sztuki i autor tekstów o ekonomii, był austriackim magnatem stalowym. Ożenił się w 1874 roku z Leopoldine Kalmus (4 marca 1850 - ?), utalentowaną pianistką żydowskiego pochodzenia. Za wszelką cenę chciał uczynić ze swych pięciu synów inżynierów i ludzi interesu; temu uporowi przypisuje się samobójstwa trzech z nich. Państwo Wittgenstein mieli również trzy córki.
Córki Karla & Leopoldine Wittgenstein
Hermine Wittgenstein (Mining, 1874–1950)
Helene Wittgenstein (Lenka, 1879–1956, po mężu Salzer)
Margarethe Wittgenstein (Gretl, 1882–1958, po mężu Stonborough)