W późniejszych latach wieś należała do Jana Zwierzchowskiego oraz do braci Bartosza i Macieja Rogalów. W 1588 Bajtkowo było w posiadaniu Jana Dwarszewskiego.
W wieku XVIII Bajtkowo było wsią szlachecką z 13 domami. W wieku XIX we wsi była szkoła i parafia. W 1821 r. we wsi mieszkało 146 osób (w większości służba dworska). Parafia ewangelicka powstała w 1895 r. Należało do niej 2400 parafian. W 1905 roku Bajtkowo nadal zaliczało się do dóbr rycerskich, majątkiem pozostało aż do 1945 roku. W 1905 r. wraz z Romankami i Cierniami majątek ziemski Bajtkowo obejmował 1112 ha ziemi i 100 ha wód. W tym okresie w opisywanych dobrach ziemskich była mleczarnia i cegielnia.
W okresie I wojny światowej (1914-1918) w okolicach Bajtkowa operowała (luty 1915 r.) grupa gen. Bratanowa, po odejściu głównych sił III Korpusu Syberyjskiego przez Orzysz poza Klusy. Doszło do potyczki z wojskami niemieckimi.
Z okresu I wojny światowej pozostało we wsi Bajtkowo i w jej najbliższej okolicy wiele cmentarzy wojennych. Najlepiej zachowane to: cmentarz przy wjeździe do wsi od strony Ełku przy drodze wojewódzkiej nr 667 oraz cmentarz koło kościoła.