Jego ostatni mecz w barwach Coventry został rozegrany w sezonie 2003/4 przeciwko Stoke City.
Stoke City Po przejściu do Stoke, Eustace zadebiutował w wygranym 3-0 meczu z Derby County. W tym sezonie pomógł Stoke i klub zajął 11. miejsce w tabeli, a Eustace strzelił 5 goli w sezonie. W meczu z Wigan Athletic,Eustace doznał kontuzji. Uraz miał trwać do końca sezonu. Eustace podpisał nową umowę, która będzie obowiązywać go do sezonu 2006/7. W czerwcu 2006,Eustce wrócił po kontuzji. Zagrał przeciwko Newcastle i jego zespół wygrał 2-0. W dniu 13 października 2006 roku, Eustace został wypożyczony do Hereford United. W czasie pobytu w tej drużynie był kluczowym graczem, i został wypożyczony na jeden rok. Jednak w dniu 14 grudnia 2006 został odwołany z klubu na wypożyczeniu, ponieważ Stoke City nie miało żadnego pomocnika z powodu zawieszeń i kontuzji. Pierwszy mecz po powrocie do Garncarzy, rozegrał przeciwko Millwall w 3 rundzie. FA Cup. W sumie zaliczył 21 występów. Później pomocnik podpisał 1-roczny kontrakt z klubem. Był kapitanem zespołu, i grał w pierwszym składzie, w pierwszej części sezonu. Został on wykupiony przez Watford w ostatnim dniu okienka transferowego.