Życie prywatne Noriaki Kasai oraz jego dwie siostry, Kumiko i Noriko (po mężu Hamaya) wychowywani byli w biedzie przez matkę Sachiko. Ich ojciec Toshinori nie miał pracy, nie interesowały go też sprawy rodzinne. Po rozwodzie rodziców Noriaki zupełnie stracił kontakt z ojcem, a do ich pogodzenia doszło po wielu latach. W 1994 sześć lat młodsza od niego Kumiko zachorowała na niewydolność szpiku kostnego. Skoczek wyimaginował sobie, że jeśli zostanie mistrzem olimpijskim, to jego siostra wróci do zdrowia, wzmógł więc częstotliwość treningów. Kumiko pomogła terapia komórkami macierzystymi, jednak w 2013 nastąpił nawrót choroby. W 1997 w pożarze domu – wywołanym przez podpalenie – matka rodzeństwa doznała ciężkich poparzeń ciała i układu oddechowego. Zmarła rok później w wieku 48 lat. Przed śmiercią pisała listy do syna, w których motywowała go do pracy i życzyła powodzenia na mistrzowskich zawodach. Jeden z nich Kasai zabiera ze sobą na każde igrzyska.
Wciąż walcząca z chorobą Kumiko w maju 2015 straciła przytomność i po raz kolejny trafiła do szpitala. Zmarła 13 stycznia 2016 w wieku 38 lat.