Służbę rozpoczął jako oficer wachtowy na U-124 pod dowództwem Kapitänleutnanta Georga Wilhelma Schulza. Po zakończeniu drugiego z patroli bojowych odbytych na U-124, 11 grudnia 1940 roku otrzymał dowództwo U-147, niewielkiego, przybrzeżnego U-Boota typu IIA. Po odbyciu szkolenia, pod koniec lutego 1941 roku U-147 wyruszył na swój pierwszy patrol na trasie alianckich konwojów u północnych wybrzeży Hebrydów.
Drugiego dnia patrolu Hardegen wystrzelił w kierunku dużego frachtowca torpedę, która jednak nie eksplodowała. Atak niszczyciela zmusił U-Boota do zanurzenia, jednak podczas tego manewru doszło do uszkodzenia włazu kiosku. Okręt wynurzył się, a gorączkowe naprawy przeprowadzano w odległości kilkuset metrów od wrogiej jednostki. Nadciągające ciemności uchroniły okręt przed wykryciem. Awarie silników Diesla spowodowane przeciekami zmusiły jednostkę Hardegena do poruszania się za pomocą napędu elektrycznego. Nocą zauważono kolejny statek, który zdołano dogonić i zatopić. Po przesłuchaniu załogi okazało się, że był to norweski parowiec „Augvald” (4811 BRT). Ataki na kolejne dwa frachtowce przeprowadzone kilka dni później nie przyniosły efektu z powodu niecelności lub wadliwości torped.