Ciężkie czasy nadeszły w połowie XVII wieku. W odwecie za udział wojsk Księcia Pruskiego po stronie Szwedów w czasach potopu w 1656 roku, wojska tatarskie najechały na Księstwo. Łupem Tatarów padł Pasym i okoliczne wsie, w tym Grom. Mieszkańców mordowano lub brano w jasyr. Po tej dziejowej burzy nadszedł znów dłuższy okres pokoju. Wsie położone na dobrych żyznych ziemiach w krótkim czasie znów się zaludniły, odbudowano domy, porośnięte lasem pola znów szły pod uprawę. W końcu XVII wieku Grom stał się dobrze zagospodarowaną wsią, świadczy o tym choćby to, że we wsi powstała druga karczma.
Nowy dopust niebios spustoszył wieś w latach 1709-1711, gdy któryś z przejeżdżających kupców przywlókł dżumę. Wymarło ponad 1/3 ludności. Ludzie porzucali swoje domy i mienie, chronili się w lasach. Domy znów stały opuszczone, a pola porastały chwastami. Po wygaśnięciu zarazy, jak po wielu klęskach, wieś szybko zaleczyła rany.
Królowie pruscy ściągali nie tylko podatki, ale dbali także o podniesienie oświaty wśród ludu. Już około roku 1730, zgodnie z polecenia króla Fryderyka Wilhelma I, zbudowano w Gromie szkołę.