W 1617 r. wymieniany jest w Grabowie 40 łanowy majątek szlachecki na prawie chełmińskim - z obowiązkiem utrzymania jednego konia, który byłby odpowiedni dla zaprzęgu armatniego, należący do Jana Stanisławskiego podstarosty lidzbarskiego.Później majątek ten przeszedł we wladanie rodu Koenigsecków, którzy w księstwie pruskim sprawowali najwyższe urzędy (m.in. Bernard von Koenigseck był w latach 1641–1653 nadradcą książęcym i zarządcą zamku królewieckiego). W wieku XVIII w., na skutek różnych klęsk, aż 32 łany były puste. W 1739 r. zbudowano szkołę, do której uczęszczało 48 dzieci, w tym 18 z Borowego. W 1785 r. było we wsi 37 domów, w 1815 50 domów i 275 mieszkańców. W 1818 r. nauczał w niej po polsku Jakub Miałki. W 1838 r. z pożaru ocalało 35 budynków mieszkalnych, we wsi zamieszkiwały wówczas 363 osoby. W 1848 r. było już 55 domów z 310 mieszkańcami.