We wsi znajdują się ruiny zamku krzyżackiego wpisane do rejestru zabytków NID (nr rej.: A/147/64 z 18.10.1934). Zamek był siedzibą komturów ziemi chełmińskiej a następnie wójtów lipieńskich, podległych bezpośrednio wielkiemu mistrzowi z Malborka. W 1291 na zamku w Lipienku wydano przywilej lokacyjny dla miasta Grudziądza. W 1330 król Władysław Łokietek próbował bezskutecznie zdobyć zamek przy wsparciu wojsk węgierskich i litewskich, w związku z czym 18 października 1330 zawarł tu rozejm z Krzyżakami.
Po II pokoju toruńskim z 1466 Lipienek znalazł się w Koronie i był siedzibą starosty, jako zarządcy dóbr królewskich. Od 1530 do 1649 starostami lipieńskimi (lipnowskimi) byli Kostkowie herbu Dąbrowa. Przed 1565 odbudowali oni zamek w Lipienku na swoją rezydencję. Ufundowali także szesnastoboczną, gotycko-renesansową wieżę w kościele w pobliskim Lisewie, gdzie niektórzy z nich są pochowani. Po Kostkach starostwo przejęli Czerscy i Smoguleccy, dzierżący na Lipienku emfiteuzę. W latach 1725–1748 starostami lipieńskimi byli Lubomirscy. Ostatnim starostą był Adam Grabowski, który dzierżawił Lipienek Franciszkowi Rybińskiemu. 16 września 1772, w obecności Rybińskiego, majątek przejęli komisarze pruscy. Sam Grabowski 11 dni później złożył królowi pruskiemu homagium.