Obecnie Gancarz jest całkowicie porośnięty lasem, dawniej jednak był znacznie bardziej bezleśny. Kazimierz Sosnowski w swoim „Przewodniku po Beskidach Zachodnich” pisze, że jego szczyt był doskonałym punktem widokowym i z tego powodu licznie był odwiedzany przez turystów. Uznawany był za wygasły wulkan.
W 1900 r. Jakub Sikora, gospodarz wsi Chocznia postawił na Gancarzu drewniany krzyż, który jednak z czasem uległ zbutwieniu. W 1931 roku zastąpiono go metalowym o wysokości 636 cm. Obecnie do krzyża tego raz w roku, z okazji Święta Podwyższenia Krzyża (we wrześniu) mieszkańcy okolicznych miejscowości urządzają religijną pielgrzymkę, a przy krzyżu na polowym ołtarzu odbywa się msza. Wzdłuż szlaku turystycznego ustawione są stacje drogi krzyżowej, a ostatni, stromy odcinek od Czuby na szczyt Gancarza miejscowi nazywają Golgotą. Na północnym stoku dokonano niewielkiej wycinki, dzięki czemu spod krzyża jest widok na położoną w dole miejscowość Kaczyna.
Szlaki turystyczne Andrychów – Pańska Góra – Czuby – Przełęcz Biadasowska – Wapienica – Przykraźń – skrzyżowanie Panienka – Susfatowa Góra