Krasicki w Smolajnach zbudował także zwierzyniec, założył hodowlę jeleni oraz dbał o odpowiednią ilość zwierzyny na polowania w pobliskich lasach. Sam natomiast, gdy po roku 1780 przestał opuszczać Warmię na dłużej, w Smolajnach spędzał czas najchętniej. Tutaj także tworzył i pracował nad swoimi największymi dziełami, jak choćby nad pełniącym w późniejszym czasie funkcję hymnu narodowego, utworem Święta miłości kochanej Ojczyzny.
Następnie, w okresie przynależności do Prus pałac pełnił nadal swą funkcję letniej rezydencji biskupów a ponadto był popularnym miejscem licznych polowań. Świadczyć o tym może, wybudowany w II połowie XVIII wieku w północnej części założenia, parterowy dworek myśliwski. W XIX wieku na północny zachód od pałacu wzniesiono kolejny, neobarokowy, dworek myśliwski.
II wojnę światową pałac przetrwał w dość dobrym stanie, a w pierwszych powojennych latach do Smolajn przyjeżdżali na wakacje studenci Katolickiego Uniwersytetu Lubelskiego, którzy we wsi wznieśli drewnianą kapliczkę.