Położenie Szwederowo usytuowane jest w południowej części Bydgoszczy i zaliczane do osiedli tzw. Górnego Tarasu Bydgoszczy. Sąsiaduje od zachodu z osiedlem Górzyskowo i Błonie, od wschodu przez ul. Kujawską ze Wzgórzem Wolności, od północy ze Starym Miastem, a na południu z osiedlami Biedaszkowo i Bielice.
Pod względem fizycznogeograficznym osiedle leży w obrębie makroregionu Pradolina Toruńsko-Eberswaldzka, w mezoregionie Kotlina Toruńska i mikroregionie Miasto Bydgoszcz Południowe (terasa X ok. 68–70 m n.p.m.)Środowisko przyrodnicze Bydgoszczy. Praca zbiorowa pod red. Józefa Banaszaka, Wydawnictwo Tanan. Bydgoszcz 1996..
Historycznie w skład obecnej jednostki urbanistycznej należą fragmenty gmin podmiejskich wcielanych do Bydgoszczy w II połowie XIX wieku i w 1920 roku. Pierwszym fragmentem wcielonym w 1858 r. był dawny folwark Nowy Dwór (15 ha) położony na północnych rubieżach dzielnicy. W latach 1867–1875 włączono pas terenu, tzw. „wygon” (18 ha) położony wzdłuż ul. Podgórnej, między ul. ks. Skorupki i Leszczyńskiego oraz tzw. Bielice (32 ha) obejmujące obszar ograniczony ulicami: Wiatrakową, Lenartowicza, Konopnickiej i Karpacka-Sieradzką. W skład Bydgoszczy wchodził również wąski pas terenu położony wzdłuż ulicy Kujawskiej. W 1920 r.