Następne informacje można odnaleźć w lustracji dóbr królewskich województwa sandomierskiego z 1564 roku. Wymienia się tam miejscowość Gora Jarosky w parafii Jaroszyn. W tym czasie miejscowość ta liczyła 3 łany obszaru, a płacono od nich 6 groszy podatku.
W końcu XVIII wieku Góra Puławska przeszła na własność Czartoryskich. W tym czasie wzrosła rola Góry Puławskiej, która leżała tuż przy Puławach, siedziby rodu. Tracił, jako ośrodek religijny pobliski Jaroszyn i właśnie do Góry Puławskiej przeniesiono kaplicę katolicką, na początku XVIII wieku zniszczoną przez wylewy Wisły. W 1781 roku z fundacji Augusta Aleksandra Czartoryskiego, wojewody ruskiego powstał w Górze Puławskiej istniejący do dziś kościół. Na początku XIX wieku dziedzicem tych dóbr był Adam Czartoryski, który brał udział w powstaniu listopadowym. Wyrokiem rosyjskiego sądu z 1832 roku folwark Nasiłów i wieś Góra Puławska przeszły pod władanie rządu Królestwa Polskiego, zarządzane przez Komisję Skarbu. W 1863 roku Górę Puławską i Nasiłów nadano generałowi – majorowi Reinthalowi. Dochód tych folwarków wyceniono na 1500 rubli rocznie, a liczyły sobie 2192 morgi. Dobra te stanowiły majorat rządowy, czyli dobra nie podlegające podziałowi ani sprzedaży. W 1867 roku ustanowiono gminę Góra Puławska w powiecie kozienickim w guberni radomskiej.