W 1821 roku Skolimowski z nieznanych przyczyn opuścił UW i zaczął pracować jako profesor matematyki i kapelan w Szkole Wojskowej Aplikacyjnej, gdzie działał do roku 1825. Jego wiedza wzbudziła uznanie wielkiego księcia Konstantego, który nakazał wydrukować w litograficznych odbitkach główne dzieło księdza, Cały kurs matematyki księdza Skolimowskiego. W roku 1825 ksiądz Skolimowski został profesorem filozofii w warszawskim Seminarium Duchownym i piastował to stanowisko do roku 1841. Po przejściu na emeryturę działał do śmierci jako sędzia kościelny do spraw rozwodowych. Pochowany został w katakumbach na cmentarzu Powązkowskim (rząd 15-5).
Kazimierz Władysław Wójcicki tak opisywał jego tryb życia:
"nie przyjął bogatych prebend ani biskupstwa, po cztery godziny modlił się klęcząc, po trzy dni nie brał posiłku, nosił pas druciany z kolcami na gołych biodrach. Wstawał o czwartej rano, godzinę na medytacji we łzach przebywał, toż samo idąc spać między jedenastą a dwunastą w nocy. O 12 wychodził ze mszą, później trzy godzin klęczał w kościele lub u siebie, a na każdą posługę kapłańską był skory.