W czasach długoletnich, trwających od roku 1409 do 1466 roku z małymi przerwami wojen Zakonu Krzyżackiego z Polską, dzieliła wieś Grom losy całego pogranicza. Gdy miasto Pasym, podobnie jak Szczytno, wypowiedziało posłuszeństwo władzy Zakonu i w 1451 roku przystąpiło do Związku Pruskiego, wieś znalazła się w bezpośrednim zasięgu działań wojennych. Zamek w Szczytnie poddał się wojskom zakonnym w 1454 roku. Pasym bronił się, choć poniósł ciężkie straty w walce pod murami miasta. Okoliczne wsie zostały doszczętnie złupione. Do Gromu zajrzała nędza i głód, a w ślad za nimi choroby. Pola leżały odłogiem i porastały lasem. W czasie wojny trzynastoletniej wieś (wraz z Dybowem i Tylkówkiem) została zastawiona przez Krzyżaków u poddanego Henryka Pielgrzyma za 600 grzywien.
Po pokoju toruńskim w 1466 roku pozostał Grom w granicach państwa zakonnego. Nastąpił dłuższy okres pokoju. Wieś odbudowała się i zaludniła. Wojna jeszcze raz zawitała w te strony, gdy Wielki Mistrz Zakonu Krzyżackiego w 1520 roku usiłował uwolnić się od polskiej hegemonii i odzyskać utracone ziemie. Przeciągające wojska obu stron splądrowały i ograbiły wieś. Potem nastąpił długi okres pokoju. Według spisów w 1602 r. w Gromie mieszkała wyłącznie ludność polska.