Musnął go wówczas jeden z pocisków wroga, na co miał stwierdzić, że „byłoby lepiej, gdyby mnie zabił”.

Odwołano go ze stanowiska w połowie grudnia 1941 roku obwiniając o klęskę spowodowaną nalotem Japończyków. Dobrowolnie przeszedł na emeryturę wiosną 1942 roku, wiele energii poświęcając od tego czasu próbom oczyszczenia swego nazwiska, które na długie lata stało się dla amerykańskich marynarzy i opinii publicznej synonimem niekompetencji. Oskarżono go o zaniechania, wskutek których możliwe stało się skryte podejście nieprzyjaciela i niespodziewany atak. W czasie wojny przeprowadzono osiem różnych dochodzeń, które miały dowieść jego winy i odpowiedzialnego za obronę lądową gen. Shorta. Za każdym razem stwierdzano, że jedyną winą jaką można byłoby przypisać Kimmelowi, była błędna ocena sytuacji – a tego rodzaju „winę” można byłoby przypisać większości wysokich rangą oficerów amerykańskich na stanowiskach dowódczych. Proponowano mu „honorowe” rozwiązanie sprawy polegające na wzięciu na siebie odpowiedzialności za klęskę, jednak admirał od początku bronił się, że – celowo lub przypadkowo – nie przekazano mu wszystkich wiadomości, jakimi dysponował rząd, i żądał oczyszczenia swojego imienia.