Historia Wieś powstała w połowie XIV w., jako posiadłość rycerska. W roku 1399 istniał tu już kościół parafialny. Jastrowiec był dawnym ośrodkiem wydobywania wapienia. W roku 1464 właścicielem wsi był Hans von Czirn. Od roku 1523 Jastrowiec jest związany z majątkiem w Pogwizdowie i Świnach i znajduje się pod zarządem von Schindela. W roku 1787 wieś była znajdowała się pod panowaniem hrabiego von Schlabrendorfa. Następnie majątkiem zarządzała wdowa po nim. Która 1 stycznia 1809 przekazała go córce Theresia von Hoyos-Sprintzenstein. Od roku 1909 właścicielem Jastrowca był szambelan królewski Stanislaus von Hoyos.
W kamieniołomach na Bukowej i Wapiennikach dawniej eksploatowano wapień. Kamień wypalany był w wapiennikach u podnóży wzniesień.
W 1946 r. w wyniku transferów niemiecka ludność wsi została osiedlona w środkowej Westfalii.