Przez większość dziejów Hum znajdował się na obszarze nadgranicznym, w związku z czym funkcja obronna stanowiła praktycznie rację bytu tego ośrodka. Najważniejszym obiektem w Hum był zamek, do którego przylegał niewielki zespół domów otoczonych murem. Ze względu na szczupłość miejsca i konieczność skutecznej obrony, powierzchnia miasteczka nigdy nie przekroczyła 0,5 ha. Oprócz zamku w mieście ulokowano kościół parafialny, dzwonnicę, kilkanaście domów – w tym budynek pełniący funkcję ratusza. Już poza murami, w XII wieku wzniesiono niewielki kościół pod wezwaniem Św. Hieronima, otoczony cmentarzem. Obronność miasteczka niekiedy okazywała się skuteczna, ale bywało ono także zdobywane przez napastników lub trawione pożarami.
W XII wieku stała się posiadłością patriarchów akwilejskich. W latach 1153–1248 Hum był częścią Księstwa Meranii. Od 1412 miasto przeszło pod panowanie Republiki Weneckiej. W 1552 roku w ramach obrony miasta obok bramy miejskiej wybudowano dzwonnicę i wieżę strażniczą. W czasie wojny 1612-1618 miasto zostało spalone, a następnie odbudowane. Pod koniec XVIII wieku Hum znalazł się pod panowaniem Cesarstwa Austriackiego.
W 1802 r.