1 sierpnia 1992 roku Whyte trafił do Anglii. Podpisał kontrakt z grającym w Division One zespołem Middlesbrough F.C., który zapłacił za niego 900 tysięcy funtów. W jego barwach swój pierwszy mecz zaliczył 15 sierpnia przeciwko Coventry City, który "Boro" przegrało 1:2. Przez trzy lata występował z Middlesbrough na zapleczu Premier League, aż w końcu w sezonie 1994/1995 wywalczył do niej awans. W 1997 roku awansował do finału Pucharu Anglii i Pucharu Ligi Angielskiej, jednak w obu przypadkach gracze Middlesbrough schodzili z boiska pokonani (odpowiednio 0:2 z Chelsea oraz 1:1 i 0:1 z Leicester City). Dodatkowo na koniec sezonu zespół spadł do Division One.
W połowie sezonu 1997/1998 Whyte wrócił do Szkocji i został piłkarzem Aberdeen F.C. Został kapitanem zespołu zastępując w tej roli Jima Leightona, a w 2000 roku dotarł do finału Pucharu Szkocji i Pucharu Ligi Szkockiej - oba Aberdeen przegrało. W 2002 roku odszedł do Partick Thistle F.C. W listopadzie 2003 został grającym menedżerem zespołu (w tej roli pracował do marca 2004), a po sezonie 2003/2004 zakończył piłkarską karierę.