Góra Szwedzka W centrum Żarnowa znajduje się średniowieczne grodzisko funkcjonujące od końca X do połowy XIII wiekuWczesnośredniowieczne zaplecze osadnicze kościoła w Żarnowie, [w:] Początki architektury sakralnej w Polsce Centralnej, red. L. Kajzer, Łódź-Warszawa 2013..
Na początku było ono oddzielone od wzgórza kościelnego ogrodzeniem z potężną zabudową. Stał tam zamek kasztelana żarnowskiego. Archeologowie twierdzili, że była to drewniano-ziemna budowla obronna. Wokół grodu wykopana była głęboka fosa. Prace wykopaliskowe podjęto na obiekcie dopiero w latach 70. XX w. w ramach Ekspedycji Wykopaliskowej Polskiej Akademii Nauk w Radomiu pod kierownictwem Ewy Kierzkowskiej – Kalinowskiej.
thumb|Góra Szwedzka Współcześnie grodzisko to nosi nazwę Góra Szwedzka. Nazwa związana jest z bitwą pod Żarnowem, do której doszło 16 września 1655 r. między wojskami króla Jana Kazimierza a armią szwedzką.
Na samym szczycie Szwedzkiej Góry w dniu 3 maja 1923 roku postawiono pomnik z piaskowca (z godłem polskim, krzyżem i aniołem pokoju) dla uczczenia bojowników walczących o wolność Ojczyzny w latach 1831, 1848, 1863, 1918, 1920 (data zatarta podczas profanacji pomnika) i 1929.