Historia Wieś została założona prawdopodobnie pod koniec w XVI wieku. Jej pierwsi mieszkańcy, podobnie jak ludność później założonej pobliskiej Woli Ostrowieckiej, pochodzili z Mazowsza i z tego powodu nazywano ich Mazurami. Do XX wieku nie zasymilowali się z rdzenną miejscową ludnością, zachowując odrębność narodową, wyznaniową (katolicyzm) i obyczajową. Śluby zawierano zazwyczaj w obrębie obu wsi, co skutkowało wytworzeniem stanu pokrewieństwa pomiędzy mieszkańcami Ostrówek i Woli Ostrowieckiej. Liczebność niektórych rodów dochodziła do 100 osób, z czego po kilkanaście osób nosiło to samo imię i nazwisko; by poradzić sobie z tą sytuacją posługiwano się przezwiskami i przydomkami.
Przed drugą połową XVII wieku wieś należała do dóbr Jełowickich, następnie kolejno do Olędzkich, Malewczyków, Czaplickich, Bogatków i Strażyców. Do 1939 roku majątek ziemski w Ostrówkach posiadali Konczewscy.
11 stycznia 1765 roku biskup chełmski Walenty Franciszek Wężyk erygował w Ostrówkach parafię rzymskokatolicką;