Łupki Gór Pieprzowych – powstałe jako osady w morzu kambryjskim ok. 500 mln lat temu – były poddane intensywnym fałdowaniom w czasie orogenezy sandomierskiej. W dzisiejszym położeniu upad warstw sięga 90° lub nawet przekracza tę wartość, co oznacza, że ławice osadów stoją tu teraz pionowo lub są częściowo przewrócone. Łupki te rozpadają się w procesie wietrzenia w specyficzny sposób, a zwietrzelina barwą i kształtem przypomina ziarna pieprzu.
Pod względem morfologicznym obszar Gór Pieprzowych stanowi wysoką krawędź doliny Wisły, poza którą ciągnie się lekko falista równina, opadająca łagodnie ku południowemu wschodowi. Całość tworzy łagodnie wygięty łuk, skierowany swą wypukłością na południe. Wysokość bezwzględna sięga tu niespełna 200 m n.p.m., natomiast różnica wysokości między płaskim i podmokłym korytem Wisły a krawędzią pasma wynosi 40–60 m.