Od lipca 1769 tworzył na Litwie konfederację barską. 5 sierpnia 1769 otrzymał regimentarstwo generalne skonfederowanych wojsk litewskich. Pod naporem wojsk rosyjskich ewakuował się do Prus, pozostawiając wojsko niedoświadczonemu bratu Kajetanowi Michałowi. W roku 1770 na kilka miesięcy zaprzestaje działalności politycznej, przebywając w Gdańsku i u swojego kuzyna, biskupa Ignacego Krasickiego. Posądzany o tchórzostwo i bezczynność nie rezygnował ze stanowiska regimentarza. Mimo ogłoszenia zamiaru, nie wrócił na Litwę, podróżując m.in. do Cieszyna i Drezna. W listopadzie 1771 rozegrał się spór pomiędzy Józefem a hetmanem Michałem Kazimierzem Ogińskim o władzę nad praktycznie nieistniejącą już armią konfederacką. W wyniku sporu podzielono pomiędzy nich władzę a praktyczne przywództwo nad wojskami litewskimi przejął Szymon Kossakowski. 13 marca 1772 próbował przebić się do oblężonego Wawelu, wyprawa ta zakończyła się jednak kompletnym fiaskiem.
Po klęsce konfederacji wyjechał z żoną Teofilą do Francji. W latach następnych mieszkali w Strasburgu i Paryżu, tonąc powoli w długach. Część majątku w Polsce udało się uratować dzięki przepisaniu ich na syna Józefa, Aleksandra.