Następnym klubem w karierze trenerskiej Harry’ego Gregga był Swindon Town, gdzie był asystentem trenera Lou Macariego, jednak został z klubu zwolniony w kwietniu 1985 roku. Dnia 20 maja 1986 roku został trenerem klubu Football League Third Division – Carlisle United, jednak klub pod wodzą Gregga po raz pierwszy od 1960 roku spadł do czwartej ligi angielskiej.
Życie prywatne Harry Gregg był dwukrotnie żonaty. Pierwszą żoną była Mavis Markham, z którą się ożenił w 1957 roku w St James’s Church w Doncaster. Mieli dwie córki: Lindę (ur. 1958) i Karen (1959–2009). Mavis zmarła na raka w 1961 rokuTriumph and despair [data dostępu:2003-01-12] .. Następnie ożenił się z Carolyn Maunders, z którą miał czwórkę dzieci: Julie, Jane, Suzanne and Johna-Henry’ego. Dnia 24 kwietnia 2009 roku córka z pierwszego małżeństwa Karen zmarła na raka w wieku 50 lat. Mieszkał wraz z żoną w Coleraine w Irlandii Północnej.
Harry Gregg był niegdyś właścicielem hotelu Windsor Hotel w Portstewart na północnym wybrzeżu w Antrim.