Mendelsohn, który wtedy przebywał na froncie zachodnim I wojny światowej przyjął zlecenie, będące jednym z pierwszych, dużych projektów w jego karierze. Realizacja zlecenia opóźniała się jednak ze względu na brak funduszy, spowodowany kryzysem politycznym i gospodarczym w Niemczech po I wojnie światowej. Ze względu na międzynarodową sławę Einsteina władze gotowe były przeznaczyć na budowę obserwatorium 150 tysięcy marek (później zdecydowały o zwiększeniu tej sumy do 200 tysięcy), jednakże kwota ta była niewystarczająca, dlatego w 1919 roku rozpoczęto zbieranie darowizn. Do końca tego roku zebrano 1,3 miliona marek.
Budowa obserwatorium rozpoczęła się w 1920 roku. Jako miejsce budowy wybrany został południowy stok leżącego na obrzeżach Poczdamu wzgórza Telegrafenberg. Dwa lata później budynek, który wznoszony był jako rodzaj powłoki dla ustawionego wcześniej na osobnym fundamencie teleskopu, został ukończony. W 1924 roku w budynku zostały zamontowane pozostałe przyrządy naukowe, po czym w grudniu tego roku odbyło się oficjalne otwarcie obserwatorium. W 1928 roku przy wejściu do obserwatorium zostało ustawione popiersie Alberta Einsteina autorstwa rzeźbiarza Kurta Haralda Isensteina.