Swoją budową geologiczną Mała Fatra bardzo przypomina Tatry Zachodnie. Jest również zbudowana ze skał granitowych nakrytych czapą skał wapienno-dolomitowych. Na większości obszary Fatry Luczańskiej odsłaniają się skały granitowe tworzące trzon gór. Obok granodiorytów i granitów występują tutaj także metamorficzne łupki, fyllity oraz piaskowce arkozowe, i tylko na obrzeżach (od Medzihorskiego potoku po Domaszyński Przełom) granity przykryte są wapieniami. W Fatrze Krywańskiej natomiast większość szczytów przykryta jest czapą skał wapiennych. Na północnej stronie do wapieni przylega także strefa marglistych łupków z okresu dolnej kredy. W łupkach tych wyżłobiona jest cała Vrátna dolina i przełęcz Medziholie.
Z wapiennym podłożem wiążą się zjawiska krasowe, m.in. jaskinie. Według danych na 31 grudnia 2017 r. w Małej Fatrze znanych było 235 jaskiń, z czego 104 w Małej Fatrze Krywańskiej, a 131 w Małej Fatrze Luczańskiej. Jaskinie te są niezbyt duże. Najdłuższa z nich to Jaskyňa nad Vyvieračkou (łączna długość korytarzy 620 m), niektóre inne to: Kryštálová jaskyňa, Hoblíkova jaskyňa, Višňovská jaskyňa, Jaskyňa v Kraľovianskej kope, Horná kraľovianska jaskyňa, Stredná kraľovianska jaskyňa, Stratenecká priepasť, Žaškovská jaskyňa, Adamova jaskyňa, Medvedia jaskyňa, Vratnuella, priepasť pod Veľkým Rozsutcom.