Pierwotna świątynia była centrum kultu przez setki lat, aż do okresu Nara.
Świątynię Takisan-ji zbudował mnich Kanden, kuzyn Yoritomo Minamoto (1147–1199), pierwszego shōguna okresu Kamakura (1185–1333). Jego włosy i zęby są umieszczone wewnątrz statui Kannon, bogini miłosierdzia, wyrzeźbionej tak, aby dopasować ją do wzrostu Yoritomo. Brama sanmon i główny pawilon zostały również uznane za zabytki kultury narodowej i przykłady architektury okresu Kamakura.
Brama główna sanmon została zbudowana w 1267 roku przez Mitsunobu Fujiwarę. Opowieść głosi, że niektóre z podpór dachowych bramy zostały umieszczone tyłem do przodu i ze wstydu Mitsunobu popełnił samobójstwo, skacząc z górnego piętra. Drzewo kamelii zasadzone w miejscu, gdzie zmarł, rozkwitało co roku, ale nigdy nie dało owoców.
Przylegający do świątyni Takisan-ji, chram shintō o nazwie Tōshō-gū, został zbudowany w 1646 roku na polecenie Iemitsu Tokugawy i poświęcony jego dziadkowi Ieyasu. Uważa się, że jest to jeden z trzech najważniejszych chramów Tōshō-gū w Japonii oprócz Nikkō Tōshō-gū (prefektura Tochigi) i Kunō-zan Tōshō-gū (prefektura Shizuoka).