Służba okrętu U-3 został przyjęty do służby w Kriegsmarine 6 sierpnia 1935 roku, jako trzecia jednostka swojego typu i jeden z pierwszych okrętów podwodnych III Rzeszy. Pierwszym dowódcą okrętu został mianowany Kapitanleutnant Hans Meckel, który sprawował tę funkcję do 29 września 1937 rokuR. Busch, H-J. Roll: German U-Boat Commanders, s. 159, 283.. U-3 został przydzielony do jednostki szkolnej US-FL w Neustadt, zaś wrzesień 1935 roku spędził w szkole zwalczania okrętów podwodnych, celem szkolenia technicznego załogi.
7 marca 1936 roku podczas zajmowania przez wojska niemieckie Zagłębia Ruhry – wraz z 12 jednostkami wchodzącymi w skład 1. Flotylli U-Bootów „Weddingen” oraz jednostkami swojego typu – U-3 został wysłany na patrol, na wypadek ewentualnej wojny morskiej z Polską, Francją lub Związkiem RadzieckimClay Blair: Hitler’s U-Boat War, T. 1, s. 44-45.. Podobne wyjście na patrol bojowy miało miejsce podczas anschlussu Austrii, nieudanej próby zajęcia przez Niemcy Sudetów w maju oraz po układzie monachijskim we wrześniu 1938 roku. Wkrótce potem – w 29 października 1938 roku – dowództwo nad okrętem objął, jeden z najsłynniejszych w przekroju zbliżającej się wojny dowódców U-Bootów, kapitanleutnant Joachim SchepkeR. Busch, H-J. Roll: German U-Boat Commanders, s.