W 1806 roku Jan Maria przeprowadził się na jego plebanię w Ecully. Okazało się, że nauka francuskiej gramatyki, a zwłaszcza łaciny sprawia mu dużą trudność. Jego młodsi koledzy często się z niego naśmiewali, a on pozostawał za nimi daleko w tyle. Niekiedy nachodziła go myśl o rezygnacji z kapłaństwa, jednak wsparcie ze strony księdza Balleya, który dostrzegł w nim szczere powołanie, pozwoliło mu przetrwać ciężkie chwile.
Latem roku 1806 Vianney, za radą księdza Balleya udał się na pielgrzymkę do Lalouvesc, gdzie znajdował się grób świętego Franciszka Regisa. Odległość wynosiła około 100 kilometrów. Pielgrzymkę miał odbyć pieszo o żebraczym chlebie, gdyż taką złożył przysięgę. Jednak mieszkańcy okolic byli nieufni, biorąc go za marudera albo dezertera. Niechętnie dawali jałmużnę, często go przepędzali z domu. Do celu Vianney dotarł głodny i wyczerpany. W drodze powrotnej, którą także odbył pieszo, zgodnie z zaleceniem zakonnika który go spowiadał, płacił za żywność i nocleg oraz rozdawał jałmużny ubogim. Przykrości doznane w tej pielgrzymce pozwoliły mu przekonać się o ciężkiej doli ludzi ubogich pozbawionych przytułku.