Pierwszy element nazwy farmy to ás – grzbiet górski (odnosi się do położenia na Raet), druga część pochodzi od garðr – farma.
Historia Åsgårdstrand był ważnym portem morskim pod auspicjami Tønsberg (od 1650) i Holmestrand (od 1660). W 1752 tylko status centra handlu pozwalał na obrót dobrami narodowymi. Od początku XIX wieku, Åsgårdstrand był aktywnym portem eksportowym drewna, którego większość eksportowano do Niderlandów, jednak z końcem ery statków działalność handlowa miasta zamarła.
Miasto stawało się za to coraz bardziej popularne wśród artystów i malarzy, i od 1880 znaczna liczba światowej sławy malarzy (Edvard Munch, Christian Krogh) odwiedzała je lub mieszkała w nim. Powodem tego było specjalne światło, w poszukiwaniu którego najlepsi artyści udawali się albo do Åsgårdstrand albo do Skagen w Danii.
Od 1920 Åsgårdstrand stał się modnym miejscem wypoczynku i rekreacji. Zarówno duńska rodzina królewska, znaczące figury z Oslo oraz inni sławni i bogaci podróżowali do tego małego miasta każdego lata i spędzali wakacje w jednym z czterech hoteli. Letnicy ciągle wywierają wpływ na to sielankowe miasto.
1 stycznia 1965 gminy Åsgårdstrand i Borre wraz z częścią Sem zostały połączone w nową gminę Borre.