O programie Program składał się niejako z trzech części. Na początku narrator Steve Higgins zapowiada gości, którzy w nim wystąpią oraz „legendarny zespół” The Roots. Następnie pojawia się Jimmy Fallon, który wygłasza krótki monolog, po czym siada za biurkiem i wykonuje typowo komediowe kawałki, które zmieniają się w zależności od dnia tygodnia. W drugiej części rozgrywane są różne konkursy, w których udział biorą ludzie wyłonieni z publiczności. Na końcu pojawiają się zaproszeni do studia goście. Ostatnim z nich jest zazwyczaj jakiś muzyk, szef kuchni albo komik, który daje swój występ przed publicznością.
Historia Początki Late Night with Jimmy Fallon sięgają 2004 r., kiedy to stacja NBC ogłosiła, że obecny prowadzący Conan O’Brien, zastąpi w 2009 r. Jaya Leno w programie The Tonight Show. W tym samym czasie Fallon zrezygnował z występów w Saturday Night Live na rzecz kariery filmowej. Producent programu, Lorne Michaels, zasugerował mu wówczas, że doskonale zastąpiłby O’Briena w roli gospodarza [data dostępu: 2012-09-28], a ponieważ był jego wielkim orędownikiem, w lutym 2007 r. nakłonił szefów NBC, żeby podpisali z nim kontraktJimmy Fallon: The New King of Late Night. Jednak aż do początku 2008 r. stacja oficjalnie się do tego nie przyznawała.