Powstał parterowy, podłużny pałac w stylu barokowym o ogromnych oknach, pomiędzy którymi umieszczono osiemnaście marmurowych rzeźb symbolizujących sztuki piękne oraz dyscypliny naukowe. Jeszcze zanim ruszyła budowa, Fryderyk rozpoczął zakupy obrazów dla nowo powstającej budowli. Plany budowlane pokrzyżowała wojna siedmioletnia. Pałac został ukończony dopiero w 1763 r.
Kiedy Galeria Malarstwa nie miała już miejsca by wystawiać kolejne obrazy, król zaprzestał kolekcjonowania. W 1770 r. galeria liczyła 168 obrazów. Do najcenniejszych dzieł należały: Niewierny Tomasz Caravaggia, Śmierć Kleopatry Reniego oraz Bitwa Amazonek Rubensa. Zgodnie z modą barokową, obrazy wisiały ciasno jeden obok drugiego, zapełniając całą ścianę północną pałacu. Sposób ich skatalogowania wyprzedzał swoje czasy – obrazy zostały zaaranżowane według szkół malarstwa: dzieła mistrzów niderlandzkich prezentowano w skrzydle zachodnim oraz sali środkowej a malarzy włoskich w skrzydle wschodnim.
Po otwarciu berlińskiego Altes Museum w 1829 r., Galeria Malarstwa przekazała mu około pięćdziesięciu obrazów z kolekcji Fryderyka, m.in. Ledę Caravaggia, trzy obrazy Rembrandta, kilka dzieł Rubensa, van Dycka i Watteau oraz wszystkie rzeźby marmurowe. Swoje zbiory uzupełniła przez przyjęcie innych kolekcji królewskich oraz zakupy nowych dzieł.