Po upadku Napoleona przeszedł w stan spoczynku, a w 1821 r., w ramach oszczędności podjętych w armii brytyjskiej, został przeniesiony na połowę należnego żołdu. 2 grudnia 1824 r. otrzymał awans na podpułkownika.
W marcu 1826 r., z uwagi na znaczne doświadczenie inżynierskie w zakresie budownictwa, generał , generalny inspektor do spraw fortyfikacji w brytyjskim Sztabie Generalnym, znów powołał go do armii i skierował ponownie do Kanady z tytułem inżyniera-superintendenta. By miał zaprojektować i wybudować drogę wodną łączącą rzekę Ottawa z jeziorem Ontario – dzisiejszy Kanał Rideau. Ponieważ kanał miał przebiegać przez niezamieszkane dotąd tereny, pierwszym zadaniem By’a była budowa obozu nad rzeką Ottawa, który mógłby pomieścić przyszłych pracowników. Obóz ten wkrótce zmienił się w rozległą osadę, nazwaną na cześć jej założyciela Bytown. Z czasem rozwinęła się ona w miasto, zwane dziś Ottawą.