Na początku XV w. Srem powrócił w ręce władców pochodzenia serbskiego, tym razem jednak z nadania królów węgierskich – wasalni despoci i książęta sremscy przetrwali tutaj aż do czasu podboju osmańskiego w pierwszej połowie XVI wieku Turcy panowali nad tym terytorium przez kolejne dwa stulecia i utracili władzę na rzecz Habsburgów dopiero po wojnach austriacko-tureckich w latach 1683–1699 i 1716–1718.
Srem został wówczas podzielony – jego południowa część znalazła się w granicach Pogranicza Wojskowego, północna zaś początkowo była hrabstwem, a potem została włączona do Królestwa Slawonii. W okresie Wiosny Ludów północna część Sremu stała się częścią autonomicznego regionu serbskiego, jednak w 1860 roku powróciła w granice królestwa Slawonii, wraz z którym w 1868 roku stała się częścią Zalitawii. Pod koniec XIX wieku zlikwidowano Pogranicze Wojskowe.
W 1918 roku, wskutek rozpadu Austro-Węgier Srem początkowo proklamował przyłączenie do Serbii, a znalazł się w granicach Królestwa Jugosławii (początkowo: Królestwa SHS).