Przez następne lata pozostając w cieniu lidera konserwatystów Williama Drapera, Sherwood wyrósł na jedną z najbardziej prominentnych figur w partii konserwatywnej. Mimo tego Sherwood przepadł w wyborach parlamentarnych 1841 r. Główna przyczyna porażki była zmiana okręgu wyborczego. Sherwood porzucił okręg Broockville, w którym był znany i szanowany, na rzecz bardziej prestiżowego okręgu miejskiego Toronto. Skrajnie konserwatywne środowisko miasta, w którym duża role odgrywali oranżyści uznali kandydaturę Sherwooda za zbyt radykalną. Przegrana wyborcza zbiegła się z kryzysem prywatnych finansów, który był wynikiem życia ponad stan. Te dwa fakty złożyły się na to, ze Sherwood zmuszony był czasowo odsunąć się polityki i zająć się swoimi sprawami finansowymi. Nie został bezczynny na długo. Już rok później znalazł się w radzie miasta Toronto, w której był promotorem licznych usprawnień, między innymi budowy chodników, kanalizacji, szkół itp. 1842 był kolejnym szczeblem w karierze Sherwooda. Wtedy to po raz pierwszy został powołany do rządu przez premiera Williama Drapera. Choć w rządzie zasiadał niecały rok i zaliczany był do mało aktywnych ministrów, zapewnił sobie w ten sposób jedną z czołowych pozycji w partii konserwatywnej i powrót do parlamentu w 1843.