Podgatunek A. incana subsp. rugosa rośnie w północno-wschodniej części Ameryki Północnej i jako introdukowany w Europie Środkowej i Północnej.
Podgatunek A. incana subsp. tenuifolia występuje w północno-zachodniej części Ameryki Północnej.
W Polsce naturalne występowanie olszy szarej cechuje się dysjunkcją zasięgu. Gatunek ten występuje przede wszystkim w dolinach górskich i podgórskich (częściej w Karpatach, rzadziej w Sudetach) oraz w Polsce północno-wschodniej. Na nizinach spotykany jest przy brzegach rzek spływających z gór, dzięki unoszeniu nasion przez wodęRadwańska-Paryska Zofia: Zielony świat Tatr, Nasza Księgarnia, Warszawa 1953, s. 47–49.. Dlatego za naturalne uznawane są stanowiska w dolinach Wisły i Odry, zaś jedynie wyjątkowo w dolinach tych ich dopływów, które nie spływają z gór (Bug, Warta, Noteć i in.). Ze względu na częste sadzenie w lasach – gatunek został szeroko rozprzestrzeniony w całym kraju.