Będąc świadkiem użycia balonów w Ameryce i podczas oblężenia Paryża, w 1890 założył spółkę, której celem była produkcja sterowców. W latach 1892–1893 powstał pierwszy projekt stworzony wspólnie z . We Friedrichshafen nad Jeziorem Bodeńskim rozpoczęto pierwsze próbne loty dwusilnikowego sterowca liczącego około 15 metrów długości. W 1900 udało się osiągnąć widoczny sukces, a Zeppelin zyskał sławę, spotykając się m.in. z aprobatą cesarza Wilhelma II Hohenzollerna. Monarcha wyraził się z uznaniem o trwającym 12 godzin locie Zeppelina nad Szwajcarią i Bawarią, a w listopadzie 1908 nazwał go największym Niemcem XX wieku. Od 1910 do 1914 sterowce spółki Zeppelin zaliczyły bezwypadkowe przeloty pasażerskie na długość około 160 000 km. Od 1913 wchodziły one do wyposażenia armii, zaś w trakcie I wojny światowej, która wybuchła w lipcu 1914, zwane powszechnie na cześć swego konstruktora „zeppelinami” sterowce dokonały nalotów bombowych m.in. na Antwerpię, Liège, Warszawę, Paryż, Londyn, Neapol, Humberside, wschód Anglii, Tyneside, oraz zajmowały się nalotami rozpoznawczymi.