Geologia Ałtaj powstał w wyniku ruchów górotwórczych kaledońskich (część zachodnia – Ałtaj właściwy) i hercyńskich (część wschodnia – Ałtaj Mongolski i Gobijski). W następnych okresach dzięki procesom denudacyjnym powierzchnia została silnie zrównana. Odmłodzenie rzeźby nastąpiło dzięki wypiętrzeniu blokowemu w orogenezie alpejskiej oraz zlodowaceniu plejstoceńskiemu i silnej erozji. Góry zbudowane są z silnie sfałdowanych i zmetamorfizowanych skał krystalicznych (gnejsy, granitognejsy, łupki krystaliczne) i osadowych (skały węglanowe) oraz skał magmowych (wulkanity – lawy, tufy, brekcje wulkaniczne), tworzących się od proterozoiku po karbon, poprzecinanych intruzjami skał krystalicznych. W zapadliskach śródgórskich występują górnopaleozoiczne i dolnomezozoiczne utwory węglonośne oraz trzeciorzędowe skały osadowe.
W Ałtaju, zwłaszcza w Ałtaju Kruszcowym, występują liczne bogactwa mineralne: rudy cynku, ołowiu, rtęci, żelaza, miedzi, złota, metali rzadkich, a także węgla kamiennego.