Hauser twierdził, że przez większość życia przebywał w ciasnej, ciemnej celi ze słomianym posłaniem, mając jako zabawkę drewnianego konika. Żywił się wyłącznie chlebem i wodą. Czasami podawano mu środek nasenny, wtedy też ktoś zmieniał mu ubranie i go strzygł. Pierwszym człowiekiem, jakiego ujrzał, był mężczyzna, który nauczył go wypowiadać powtarzane przezeń zdanie: Chcę być żołnierzem, jak mój ojciec i pisać nazwisko Kaspar Hauser. Mężczyzna ten zawsze pilnował, aby Kaspar nie ujrzał nawet przypadkiem jego twarzy, a pewnego dnia wyprowadził go z celi na świat. Oszołomiony Kaspar zemdlał, a następną rzeczą, jaką pamiętał, był dzień, w którym pojawił się w Norymberdze.
Tajemniczym chłopcem zainteresowała się wkrótce cała Europa i odwiedzało go coraz więcej gości. Niektórzy uważali go za sprytnego oszusta, który udaje tępaka, inni zaczęli łączyć go z rodziną wielkiego księcia Badenii, ze względu na pewne podobieństwo fizyczne. Jego rodzicami mieliby być Karol Ludwik Badeński, książę Badenii i jego żona Stefania, adoptowana córka Napoleona I. Ponieważ Karol Ludwik nie miał żyjącego męskiego potomstwa, tron objął jego stryj Ludwik I Badeński, ostatni z głównej linii rodu Zähringen.