Już w 1935 roku twierdził, że aby przewrót zakończył się sukcesem, Adolf Hitler powinien zostać zabity. Podczas kryzysu sudeckiego w 1938 r., ze względu na jego kontakty z Ministerstwem Spraw Zagranicznych i Abwehrą był łącznikiem pomiędzy cywilnym a wojskowym ruchem oporu.
Spiskowcy: Fritz-Dietlof von der Schulenburg, Erwin von Witzleben i Hans Oster spotykali się w meklemburskim domu von Schwerinów w Göhren bei Woldegk. Telefon był wówczas na podsłuchu. Atmosferę w domu wspomina Wilhelm, wówczas piętnastoletni syn Schwerina:
Schwerin i jego bliski przyjaciel Peter Yorck von Wartenburg, którego znał ze szkoły klasztornej w Roßleben oraz Fritz-Dietlof von der Schulenburg, należeli do najściślejszego grona grupy oporu, określanej potem również jako Krąg z Krzyżowej (niem. Kreisauer Kreis). Schwerin od początku II wojny światowej służył w Wehrmachcie w stopniu kapitana. Zmobilizowany z chwilą wybuchu wojny pracował od listopada 1939 w sztabie jako adiutant generała von Witzlebena.
Wydarzenie, które również miało wpływ na zdecydowanie opozycyjną postawę Schwerina wobec narodowego socjalizmu wspomina jego syn Wilhelm: