Key wraz z pułkownikiem Johnem Skinnerem wypłynęli 5 września 1814 roku z Baltimore na zatokę Chesapeake, aby tam negocjować z Anglikami wymianę jeńców. Obaj negocjatorzy zostali przyjęci na pokład okrętu flagowego floty angielskiej HMS Tonnant, gdzie rozpoczęły się pertraktacje. Początkowo negocjacje były bezowocne, jednak po kilku dniach ostatecznie udało im się wynegocjować uwolnienie przyjaciela. Niestety, w tym samym czasie dowiedzieli się o ataku na Baltimore planowanym przez Anglików. Ze względów bezpieczeństwa zostali przez nich tymczasowo zatrzymani na pokładzie lekkiej fregaty, HMS Surprize, do momentu zakończenia ataku.
Ponieważ koryto rzeki Patapsco było zbyt płytkie, admirał Alexander Cochrane, dowodzący flotą angielską, został zmuszony do przeniesienia okrętu flagowego z HMS Tonnant na HMS Surprize. Key i Skinner zostali wówczas przetransportowani na mniejszą jednostkę, skąd mogli widzieć i słyszeć jak Anglicy bombardują Fort McHenry strzegący Baltimore. Atak Anglików rozpoczął się 13 września rano i trwał przez 25 godzin. Key z niemocą i przerażeniem obserwował i słyszał nieustanny ostrzał pozycji amerykańskich i gdy o świcie 14 września ujrzał wciąż powiewającą nad fortem amerykańską flagę, ogarnęła go ulga i wzruszenie.