Zwolennik ograniczonej współpracy z rządem dyktatora Miguela Primo de Rivera, dzięki której UGT mógł nadal funkcjonować. Wywołało to jednak opór wielu działaczy PSOE i UGT, szczególnie Indalecio Prieto, antymonarchisty i zwolennika ustanowienia w Hiszpanii republiki.
Largo Caballero został ministrem pracy w pierwszym rządzie Drugiej Republiki Hiszpańskiej, powołanym w 1931 pod przewodnictwem Niceto Alcalá-Zamora. Pozostał na stanowisku jako członek jeszcze dwóch kolejnych gabinetów premiera Manuela Azaña. Cieszył się ogromną popularnością wśród robotników, widzących w nim skromnego człowieka żyjącego podobnie jak oni.
Wybory w roku 1933 przyniosły zwycięstwo sojuszu partii chrześcijańsko-demokratycznych i konserwatywnych – Hiszpańskiej Konfederacji Prawicy Autonomicznej (CEDA). Nowy rząd ograniczył wydatki socjalne, co skłoniło Largo Caballero ku coraz bardziej radykalnym poglądom, zaczął również mówić o rewolucji socjalistycznej i poparł wydarzenia, które doprowadziły do strajku generalnego, który w 1934 sparaliżował szczególnie Asturię i Katalonię. Strajk zdecydowanie potępił generał Francisco Franco, który wiernie służył rządowi CEDA.