1860 opiekę nad Karlem sprawował kuzyn ze strony matki, również pastor, teolog i poeta – Johannes Fibeger, co wywarło wpływ na problematykę chrześcijańską wczesnych utworów Noblisty.
Gjellerup swoje pierwsze próby literackie pisał w wieku 17 lat; wtedy to powstały nigdy nieopublikowane tragedie: Scypion Afrykański i Arminius.
W 1874 rozpoczął studia teologiczne na uniwersytecie w Kopenhadze, kończąc je w 1878 otwarcie deklarując swoje ateistyczne poglądy. W tym czasie zainteresował się bowiem teoriami Darwina oraz krytyką Biblii. Jednocześnie przeżył fascynację krytyką literacką Georga Brandesa (pod którego wpływem ogłosił swoje ostateczne odejście od chrześcijaństwa)Fascynacja Gjellerupa teoriami Brandesa nie wykazała jednak długiej żywotności; Noblista porzuca je bowiem pod koniec lat 80., filozofią Kanta oraz literaturą niemiecką, zwłaszcza romantyzmem spod znaku Goethego i Schillera.
thumb|left|200px|Kościół w Roholte, rodzimej wiosce Gjellerupa W roku 1887 Gjellerup poślubił kuzynkę Brandesa, Annę Karolinę Heusinger. W tym czasie pisarz stworzył swoje najgłośniejsze dzieła, w głównej mierze tragedie inspirowane twórczością Henryka Ibsena.