Rozmieszczenie geograficzne Jałowiec pospolity jest jednym z najbardziej rozpowszechnionych przedstawicieli nagonasiennych. Zasięg tego gatunku obejmuje całą strefę okołobiegunową półkuli północnej. Jest jedynym gatunkiem jałowca występującym zarówno na półkuli zachodniej, jak i wschodniej. W Ameryce Północnej sięga na południu do obszarów górskich w Kalifornii na zachodzie i Pensylwanii na wschodzie. Na północy sięga do wybrzeży Oceanu Arktycznego, ale brak go na wyspach Archipelagu Arktycznego. Rośnie jednak wzdłuż wybrzeży południowej Grenlandii. W Europie zasięg gatunku obejmuje niemal cały kontynent z wyjątkiem Azorów, Balearów i Krety. Na północy po Islandię i północne krańce Półwyspu Skandynawskiego. W południowej części Europy spotykany jest niemal wyłącznie w górach. Rośnie także w górach Afryki północnej. Dalej na wschód obecny jest w północnej części Azji Mniejszej oraz w regionie Kaukazu. Poza tym występuje w Europie wschodniej, choć w południowej Ukrainie i południowej Rosji jest rozproszony. W Azji zasięg gatunku obejmuje północną część kontynentu po Syberię i wybrzeża Morza Ochockiego oraz obszary górskie Azji środkowej po Himalaje na południu.