11 października 1939 premier gen. dyw. Władysław Sikorski rozkazał odtworzyć MW w ramach Polskich Sił Zbrojnych na Zachodzie. KMW utworzono z oficerów, którym udało się przedostać przez Rumunię do Francji. Początkowo KMW w Paryżu składało się z Wydziału Marynarki Wojennej i Wydziału Marynarki Handlowej. Po przeniesieniu do Londynu na początku 1940 w KMW istniały następujące Referaty: Organizacyjno-Wyszkoleniowy, Personalny, Techniczny i Zaopatrzenia Materiałowego oraz Budżetowo-Finansowy i Marynarki Handlowej. Od 1941 zwierzchnictwo nad komórkami organizacyjnymi KMW było podzielone pomiędzy zastępcę szefa KMW – referaty planowania, szefa Sztabu KMW – referaty operacyjno-organizacyjne oraz szefa Administracji MW – referaty techniczne, zaopatrzenia i finansowe. Ostatnia reorganizacja KMW miała miejsce w 1945, kiedy kompetencje zastępcy szefa przejął I zastępca szefa, a szefa Sztabu II zastępca szefa. Równocześnie utworzono Inspektorat Wyszkolenia.