Korzenie National Portrait Gallery sięgają końca XVIII wieku, kiedy Charles Willson Peale wziął na siebie zadanie stworzenia galerii bohaterów rewolucji amerykańskiej i innych „wielkich ludzi” swojej epoki. W 1857 roku Kongres Stanów Zjednoczonych zlecił George’owi Healy namalowanie prezydenckich portretów dla Białego Domu, być może częściowo ze względu na popularność nowo otwartego w Wielkiej Brytanii National Portrait Gallery, założonej w 1856 roku. Utworzenie „oficjalnego” amerykańskiego odpowiednika galerii brytyjskiej przeciągnęło się jednak aż do 1962 roku, kiedy została ona założona na mocy ustawy Kongresu i w 1968 roku otwarta dla publiczności. Galeria znalazła swe lokum w starym budynku Urzędu Patentowego. Wcześniej, w 1953 roku Kongres wprowadził przepisy mające na celu uniemożliwienie wyburzenia starego budynku Urzędu Patentowego na rogu ulic 7 th i F Streets w kwartale NW, gdzie zaplanowano budowę parkingu. Klasycystyczny budynek zaprojektowany przez Roberta Millsa, choć zaniedbany, został przez wielu uznany za dobro narodowe. Ukończony w 1867 roku, miał pierwotnie służyć jako galeria amerykańskiej wynalazczości. W czasach wojny secesyjnej był wykorzystywany jako szpital. Ostatecznie dzięki wysiłkom prezydenta Dwighta Eisenhowera i przewodniczącego Komisji ds.