Jednak jego działalność nie ograniczała się jedynie do zagadnieniń związanych ze Starym Testamentem. W 1825 roku Nikolai Frederik Severin Grundtvig głosił osobliwe poglądy, np. że wyznanie chrzcielne, Modlitwa Pańska i słowa ustanowienia Wieczerzy Pańskiej pochodzą bezpośrednio od Chrystusa i nie uległy nigdy zmianie, dlatego stoją ponad Pismem Świętym. Przekonanie to znalazło swoich zwolenników w Danii i Norwegii, co wzbudziło obawę, że podstawy nauki Kościoła luterańskiego są zagrożone. Caspari podjął się szczegółowych badań, dotyczących formuły wyznania chrzcielnego i jej historii, co wymagało wnikliwej analizy dzieł Ojców Kościoła. Rezultatem prac była długa seria publikacji, w większości w języku norweskim. Dokonał tłumaczenie Księgi zgody na język norweski. Był jednym z tłumaczy nowego przekładu Starego Testamentu, dokonanego pod patronatem Norweskiego Towarzystwa Biblijnego, ukończonego w 1891 roku. Śmierć przerwała jego pracę nad tłumaczeniem Nowego Testamentu.