U-4 został wprowadzony do służby w Austro-Węgierskiej Marynarce Wojennej we wrześniu 1909 roku i do rozpoczęcia I wojny światowej służył jako jednostka szkolna, czasami wykonując nawet 10 rejsów miesięcznie. Na początku wojny był jednym z czterech sprawnych austro-węgierskich okrętów podwodnych. W czasie pierwszego roku wojny U-4 przeprowadził kilka nieudanych ataków na okręty wojenne i zdobył kilka mniejszych statków na prawie pryzu. W lipcu 1915 roku odniósł swój największy sukces, torpedując i zatapiając włoski krążownik pancerny „Giuseppe Garibaldi”, największy okręt trafiony przez niego w czasie wojny.
W połowie maja 1917 roku U-4 wziął udział w rajdzie na siły blokujące Cieśninę Otranto, który zapoczątkował bitwę w tej cieśninie. W oddzielnej akcji w tym samym miesiącu zatopił swój drugi co do wielkości statek, włoski transportowiec wojska „Perseo”. Jego ostatni sukces przyszedł w lipcu 1917 roku, kiedy zatopił francuski holownik. Łącznie U-4 zatopił lub zdobył 15 statków o łącznym tonażu 14 941 BRT i cztery okręty wojenne. Był najdłużej służącym okrętem podwodnym w Austro-Węgierskiej Marynarce Wojennej, został przekazany Francji w ramach reparacji wojennych i złomowany w 1920 roku.