Po kilku miesiącach – 6 czerwca 1754 r. – powrócił do Francji, przyprowadzając wozy z cennymi tkaninami. Bandyci sprzedawali na targowiskach dobra przywiezione ze Szwajcarii i Sabaudii po niskich cenach, ponieważ nie płacili ceł. Poborcy podatkowi zaczęli więc ścigać klientów Mandrina, za co ten postanowił ich ukarać. W tym celu pojechał do Rodez, gdzie zaatakował posterunek poborców i siłą zmusił ich do kupienia swoich nielegalnych towarów. Jego działalność stała się wkrótce szeroko znana. W sierpniu 1754 r. pisał o nim przychylnie przebywający w Paryżu Wolter.
W drugiej połowie 1754 r. banda Mandrina przeprowadziła cztery udane wyprawy na terenie Francji, co zaczęło niepokoić władze centralne, które wystąpiły do władz Sabaudii o wydanie zbiega. W grudniu 1754 r. banda została rozbita pod Beyssac, ale Mandrin zdołał zbiec i osiadł w Rochefort-en-Novalaise, tuż przy granicy. W maju następnego roku poborcy podatkowi wynajęli ludzi, którzy nielegalnie przekroczyli sabaudzką granicę i porwali Mandrina do Francji.