W końcu IV wieku Sirmium zostało przejściowo opanowane przez wschodniogermańskich Gotów, ale powróciło później do Cesarstwa Bizantyjskiego. W 441 zostało zdobyte przez Hunów, po czym przez ponad wiek pozostawało we władzy różnych ludów barbarzyńskich, takich jak Ostrogoci i Gepidowie, będąc nawet przez krótki czas stolicą państwa Gepidów. Od 567 roku, kiedy Gepidzi zostali pokonani przez koalicję Longobardów i Awarów, Sirmium powróciło do Cesarstwa Bizantyńskiego.
Awarowie po usadowieniu się w latach 567–568 na terenie Niziny Węgierskiej, nieustannie atakowali Sirmium, które broniło im dostępu na terytorium cesarstwa. Ostatecznie w 582 roku zdobyli miasto, kończąc jego antyczną historię. Zwycięzcy zagwarantowali mieszkańcom bezpieczeństwo, jednak zażądali, aby opuścili miasto, pozostawiając cały dobytek i zapłacili trybut w wysokości 240 000 solidów. Po jego uiszczeniu mieszkańcy udali się do Salony. Upadek Sirmium umożliwił Awarom (a po nich także Słowianom) ekspansję na południe wzdłuż wybrzeża Adriatyku i w konsekwencji zajęcie całej Dalmacji w ciągu pierwszej połowy VII wieku.
Pozostałości antycznego miasta znajdują się pod zabudową dzisiejszej Sremskiej Mitrowicy. mały|258x258px|Makieta Sirmium