20 lipca 1944 von Haeften towarzyszył Stauffenbergowi podczas spotkania w kwaterze Wehrmachtu w Gierłoży koło Rastenburga. Stauffenberg pozostawił w baraku na terenie kwatery Hitlera Wilczy Szaniec teczkę z bombą, która miała pozbawić życia Hitlera. Po eksplozji Stauffenberg wraz z von Haeftenem polecieli samolotem do Berlina i w przekonaniu, że Hitler poniósł śmierć w wybuchu, zaczęli realizować przejęcie władzy, które zakończyło się niepowodzeniem.
Tego samego dnia von Haeften wraz ze Stauffenbergiem i związanymi z nim spiskowcami – generałem Friedrichem Olbrichtem i pułkownikiem Albrechtem Mertzem von Quirnheimem – zostali aresztowani i skazani przez generała Friedricha Fromma na śmierć. Wszyscy czterej zostali rozstrzelani po północy przez dziesięcioosobowy pluton egzekucyjny żołnierzy Wielkoniemieckiego Batalionu Straży. Egzekucja odbyła się na dziedzińcu Ministerstwa Wojny, przed budynkiem Bendlerblocku. Gdy pluton szykował się do rozstrzelania Stauffenberga, von Haeften rzucił się w jego obronie (w ostatnim geście oporu) na drogę pocisku.