Kemper jako dziecko dwukrotnie przeżył doświadczenie śmierci: starsza siostra próbowała wepchnąć go pod pociąg; innym razem wepchnęła go do głębokiego basenu, gdzie niemal utonął. Kemper pozostawał w bliskich relacjach z ojcem. Rozwód rodziców w 1957 i konieczność przeprowadzki wraz z matką do Heleny w Montanie stanowiły dla niego druzgoczące przeżycie. Relacja Kempera z matką nie należała do prostych. Clarnell Elisabeth Kemper była neurotyczną i dominującą osobą, cierpiącą na alkoholizm. Wobec syna stosowała przemoc psychiczną i fizyczną. Często zmuszała go do spania w piwnicy, gdyż, jak twierdziła, obawiała się, że mógłby skrzywdzić swoje siostry. Wyśmiewała też jego wysoki wzrost (w wieku 15 lat Ed Kemper mierzył 193 cm) i drwiąco nazywała go „dziwadłem”. Bojąc się, że syn mógłby zostać homoseksualistą, odmawiała przytulania go. Równocześnie mówiła synowi, że przypomina jej swojego ojca Clarence Stage i że żadna kobieta nigdy go nie pokocha. Kemper później opisywał swoją matkę jako „chorą i złą osobę”. Clarnell Kemper prawdopodobnie cierpiała na zaburzenie typu borderline.