W 1938 r. Burnett wyruszył ze swoją żoną Frances do znajdującego się wówczas pod niemiecką okupacją Wiednia, aby pomóc swoim krewnym żydowskiego pochodzenia wywieźć z kraju kosztowności. W drodze powrotnej mieli się zatrzymać w nadmorskim miasteczku na południu Francji, gdzie odwiedzili klub nocny La Belle Aurore. Tam mieli ujrzeć ciemnoskórego pianistę grającego „As Time Goes By” dla obecnych w klubie Niemców, Francuzów oraz uchodźców. Burnett znał „As Time Goes By” już wcześniej, bowiem miał to być jego ulubiony utwór z czasów studenckich na Uniwersytecie Cornella. Te wydarzenia zainspirowały Burnetta do napisania sztuki Everybody Comes to Rick’s, w której „As Time Goes By” pełniło rolę głównego motywu muzycznego. Scenariusz sztuki został kupiony przez wytwórnię Warner Bros za kwotę 20 000 dolarów i finalnie zaadaptowany dla filmu Casablanca.

Utwór „As Time Goes By” pozostał w scenariuszu Casablanki, niemniej odpowiedzialny za muzykę Max Steiner (twórca m.in. muzyki do Przeminęło z wiatrem oraz King Kong) chciał zastąpić go swoją własną kompozycją. Musiał jednak odstąpić od tego zamiaru, bowiem Ingrid Bergman, grająca rolę Ilsy Lund Laszlo, ścięła włosy na potrzeby kolejnej roli (Marii w Komu bije dzwon).