W 1959 organizację tę zdelegalizowano w Rodezji, Nkomo zaś wyjechał do Londynu. W 1960 reemigrował będąc założycielem i przewodniczącym Narodowej Partii Demokratycznej, którą także zdelegalizowano. W 1961 Nkomo powołał Afrykański Ludowy Związek Zimbabwe (ZAPU), czerpiąc nazwę „Zimbabwe” ze zrujnowanej osady stanowiącej od IX do XIV wieku ognisko kultury Afryki. W 1962 także ZAPU doczekała się delegalizacji. W 1963 Nkomo za stawianie oporu policjantom przez 6 miesięcy siedział w więzieniu. Od listopada 1964 do grudnia 1974 był rodezyjskim więźniem politycznym, zyskując status rzecznika powstającej murzyńskiej państwowości Zimbabwe. Był odwiedzany przez brytyjskich wysłanników rządowych, którzy szukali rozwiązania konfliktów rodezyjskich w 1968 i w 1971Alan Palmer, Kto jest kim w polityce. Świat od roku 1860, Wydawnictwo Magnum, Warszawa, 1998, przeł. Wiesław Horabik, Tadeusz Szafrański, s. 301..