Po kapitulacji trafił do niewoli; od października przebywał w Oflagu XI B w Brunszwiku w Dolnej Saksonii, a od czerwca 1940 roku w Oflagu II C w Dobiegniewie (obecnie województwo lubuskie). Wśród jeńców w tym obozie znajdowali się m.in. były premier płk. Kazimierz Świtalski, archeolog Kazimierz Michałowski i aktor Kazimierz Rudzki. Oficerowie osadzeni w obozie byli traktowani dość łagodnie, m.in. mogli pracować poza terenem oflagu, władze obozowe zezwalały też na działalność kulturalno-oświatową. Drzyzga brał udział w obozowych zajęciach, dokształcając się z filozofii i inżynierii; uczęszczał także na tajne wykłady z wojskowości.
W lipcu 1940 i 1941 roku podjął dwie próby ucieczki, które zakończyły się niepowodzeniem. Trzecią próbę podjął 8 maja 1942 roku, gdy razem z trzema współtowarzyszami pracował przy wycince drzew. Na piechotę przeszedł Puszczę Notecką i dotarł do Wronek. Wraz z nim uciekli także por. Stanisław Bes, ppor. mar. Mieczysław Uniejewski i kpr. Brożek, zaś trzej z nich uniknęli schwytania przez obławę żandarmów w okolicach Wronek, po tym jak S. Bes ściągnął na siebie tropiących i jako jedyny z uciekinierów został pojmany. Stamtąd przy pomocy polskich kolejarzy pociągiem dojechał przez Poznań do Kutna, po czym pieszo przeszedł przez zieloną granicę do Generalnego Gubernatorstwa.