Osiem dni później bramkarz znowu popełnił kardynalny błąd, który doprowadził do remisu z Sunderlandem 2:2. Został ostro krytykowany i odsunięty od pierwszego zespołu. Zastąpił go Ben Amos. Następny mecz zagrał dopiero trzy miesiące później w lutym 2010 roku w meczu z West Hamem United, gdzie zachował czyste konto. Następnie Foster został wypożyczony do Birmingham City. Rozegrał tam wszystkie możliwe spotkania ligowe, ale zespół z Birmingham spadł do Championship. Pomimo spadku jego drużyny został on wybrany graczem roku.
Birmingham City 19 maja 2010 roku Foster podpisał kontrakt z Birmingham City. W tym klubie spędził rok, będąc jego podstawowym zawodnikiem. Zadebiutował w zremisowanym spotkaniu z Sunderlandem 2:2. Foster został najlepszym graczem Birmingham w sezonie. Wraz z drużyną zdobył Puchar Ligi Angielskiej.
West Bromwich Albion W dniu 29 lipca 2011 roku dołączył do West Bromwich Albion na zasadzie wypożyczenia. Bramkarz wystąpił w 37 spotkaniach. Został wybrany graczem roku przez fanów West Bromwich.