W latach 1936–1938 brał udział w wojnie domowej w Hiszpanii po stronie republikańskiej przeciwko rebelii gen. Francisco Franco, pod pseudonimem generał Walter. Dowodził tam kolejno: XIV Brygadą Międzynarodową im. Marsylianki, Dywizją A i 35 Dywizją Międzynarodową. Nie objął jednak bezpośredniego dowództwa nad oddziałem, w którego skład wchodzili ochotnicy z Polski, tzw. Dąbrowszczaków. W czasie walk w Hiszpanii brał udział w bitwach na Froncie Południowym, m.in. pod Montoro, Lopero i Percuną nieopodal Kordoby. W 1937 objął dowództwo nad tzw. Dywizją A (w jej składzie znajdowały się Brygada V i XIX), która walczyła w rejonie Madrytu. Następnie objął dowództwo 35 Dywizji Międzynarodowej w V Korpusie komunistycznej Hiszpańskiej Armii Ludowej. Wyróżnił się w ofensywie saragoskiej i podczas odwrotu na froncie aragońskim. Oprócz walk z oddziałami frankistowskimi, przeprowadzał czystki w szeregach ochotników międzynarodowych oraz pośród jeńców wojennych.
Przyjaźnił się z pisarzem Ernestem Hemingwayem, który w swojej książce Komu bije dzwon uwiecznił go w postaci generała Golza. Sam Świerczewski został później autorem prac zebranych w książce W bojach o wolność Hiszpanii.