Latem poznał Margarete Weber, zwaną Margret (1905–1987), pochodzącą z rodziny rzemieślniczej z Heidelbergu. 28 sierpnia wbrew woli matki, która uważała małżeństwo za mezalians, Albert poślubił w Berlinie Margret. W latach 1934–1942 przyszło na świat sześcioro dzieci Speerów: Albert junior, Hilde, Margarete, Arnold, Fritz oraz Ernst.
Architekt Hitlera W grudniu Speer wziął udział w wiecu narodowych socjalistów na Hasenheide w Berlinie, na którym przemawiał Hitler, zaś 1 marca wstąpił do NSDAP i został jej aktywnym działaczem. W podjął pierwsze zlecenia projektowe dla partii, zaś po śmierci Paula Ludwiga Troosta w został głównym architektem Hitlera. W został przez Hitlera mianowany generalnym inspektorem budowlanym stolicy Rzeszy (Generalbauinspektor für die Reichshauptstadt) i na jego zlecenie przygotował plany przebudowy miasta na stolicę świata (tzw. Plan Germania).
W Speer z Hitlerem odwiedził Paryż, by omówić plany budowy miasta przewyższającego rozmachem stolicę Francji. Centralnym budynkiem nowego centrum Germanii miała być wielka hala zgromadzeń, naśladująca rzymski Panteon, z kopułą o wysokości 300 metrów. Jej model znajduje się dziś w Niemieckim Muzeum Historycznym w Berlinie.