Ślady osadnictwa na terenie Swarzewa pochodzą z epoki brązu, w 1877 r. w Swarzewie odkryto cmentarzysko około 100 grobów skrzynkowych z tamtego okresu. Wieś Swarzewo została lokowana we wczesnym średniowieczu. Od 1308 r. wieś znajdowała się na terenach należących do Krzyżaków, w komturstwie gdańskim.
W 1340 r. Swarzewo ponownie zostało lokowane na prawie chełmińskim przez komtura Winrycha von Kniprode, wtedy też po raz pierwszy pojawiła się nazwa wsi. Około 1400 r. w Swarzewie został zbudowany kościół filialny Łebcza.
Od 1466 r., po przyłączeniu do Korony Królestwa Polskiego, Swarzewo było administrowane przez starostów puckich. W XVI i XVII wieku było wsią folwarczną z karczmą. Od 1772 r., po I rozbiorze Polski i przyłączeniu do Królestwa Prus, Swarzewo należało do skarbu pruskiego.
W 1880 r. zbudowano kościół swarzewski, który stoi do dziś. Przed 1920 r. podczas zaborów wieś nosiła nazwę niemiecką Schwarzauwg dr F. Lorentza "Polskie i kaszubskie nazwy miejscowości na Pomorzu Kaszubskiem" () ().
Na koniec roku 1892 Swarzewo miało 520 mieszkańców, w tym (wg języka ojczystego), 501 Kaszubów katolików, 1 Polaka, księdza katolickiego i 18 Niemców (7 katolików, 11 ewangelików).