Królowa nie wyraziła jednak zgody na przyjęcie rozwodnika do rodziny królewskiej jako swego szwagra, negatywną opinię w tej sprawie przedstawili jej zresztą zarówno premier Winston Churchill, jak i arcybiskup Canterbury Geoffrey Fisher. Jedyną możliwością zawarcia małżeństwa byłoby zrzeczenie się przez Małgorzatę statusu księżniczki i opuszczenie rodziny królewskiej, na co się nie zgodziła. W połowie 1953 informacja o ich związku została opublikowana i długo była pożywką dla tabloidów. W tej sytuacji, aby utrudnić parze dalsze kontakty, Townsend został wysłany na placówkę dyplomatyczną w Brukseli, gdzie pracował do 1956, kiedy to opuścił zarówno armię, jak i w ogóle służbę państwową. 31 października 1955 Małgorzata obwieściła zakończenie związku z Townsendem.
Późniejsze życie W 1959 ożenił się z Belgijką Marie-Luce Jamagne. Przez resztę życia mieszkał głównie w Belgii i we Francji, choć utrzymywał bliskie związki z Wielką Brytanią, zasiadając m.in. w radach nadzorczych kilku firm, a także pisując książki, głównie historyczne i biograficzne, przeznaczone na brytyjski rynek wydawniczy. Trudnił się także handlem winami.
Zmarł w wieku 80 lat, przyczyną zgonu był rak żołądka.