Początkowo tereny dawnej kasztelanii sandomierskiej dzierżawił hrabia Józef Kajetan Ossoliński, później Kulczyccy, a w roku 1835 część byłych królewszczyzn, czyli tzw. dóbr kameralnych, kupił na licytacji Jan Roch Dolański, właściciel Grębowa. Jego córka Balbina Domicela wyszła za Józefa Kozłowieckiego (pradziadka kardynała Adama Kozłowieckiego), wnosząc mężowi w wianie kilka miejscowości, m.in. Brzostową Górę.
W opisie mapy topograficznej z lat 1779–1782, przygotowanej pod kierunkiem austriackiego kartografa ppłk. Friedricha von Miega czytamy, że Brzostowa Góra położona jest na „małym, nieznaczącym wzgórzu. [...] Grzęzawiska wypływające od Komorowa stają się w tej okolicy tak zabagnione, że nie istnieje przez nie przejście. [...]”.
Z 1787 roku pochodzi pierwszy znany odcisk pieczęci Brzostowej Góry zachowany w tzw. metryce józefińskiej - przedstawia on napięty łuk i przypomina szlachecki herb o tej nazwie.
W 1880 roku wieś posiadała 727 mieszkańców, którzy mieszkali w 102 domach. W okresie galicyjskim i międzywojennym była to typowa wieś rolnicza.
W czasie II wojny światowej prawie cała wieś została wysiedlona i spalona przez Niemców, którzy założyli w okolicy poligon wojskowy.