W 1874 roku w wyniku wielkiego pożaru, który wybuchł w rejonie ulic Chmielnej, Złotej i Siennej, spłonął kwartał drewnianej zabudowy znajdującej się między ulicami Wielką i Zielną.
Przed II wojną światową przy ulicy znajdowało się 26 posesji. W czasie okupacji, w listopadzie 1940, fragment ul. Wielkiej na odcinku między ul. Świętokrzyską a Złotą znalazł się na terenie warszawskiego getta.
W czasie wojny 8 kamienic uległo zniszczeniu. Wszystkie pozostałe budynki – w tym siedem nienaruszonych – po wojnie rozebrano w związku z budową Pałacu Kultury i Nauki i związaną z tym całkowitą niwelacją całego centrum Warszawy między ul. Świętokrzyską i Alejami Jerozolimskimi oraz Marszałkowską i Emilii Plater (dotychczasową ul. Sosnową, której przedwojenny przebieg pokrył się z późniejszą Emilii Plater na tym odcinku). W północnej części tego odcinka ulicy Wielkiej urządzono park (obecny park Świętokrzyski).
Poeta ujął historię ulicy w limeryk: Była tu ulica Wielka, Serce miasta – sto kamienic, Teraz wielkie wokół nic, Straszy na przepastnym placu Z wykrzyknikiem w kształt Pałacu.