Po wybuchu II wojny światowej rodzina uciekała w kierunku wschodnim. W momencie agresji ZSRR na Polskę, rodzina Jaruzelskich przebywała w jednym z majątków w powiecie lidzkim (województwo nowogrodzkie). Wobec ataku ze wschodu postanowili wrócić do Trzecin. Ostatecznie kierując się w kierunku Litwy, w nocy z 22 na 23 września przekroczyli w okolicach Kopciowa granicę z Litwą. Tam mieszkali w różnych miejscowościach w majątkach polskich rodzin. Po okupacji Litwy przez Armię Czerwoną i aneksji przez ZSRR, rodzina Jaruzelskich postanowiła wrócić na tereny okupacji niemieckiej. Ostatecznie matka, obawiając się, że przy przekroczeniu granicy może dojść do rozdzielenia rodziny, zdecydowała o pozostaniu na Litwie. 14 czerwca 1941 rodzina została deportowana na Syberię. Wojciech zamieszkał wraz z matką i siostrą w osadzie leśnej Turoczaku, gdzie w Górach Ałtajskich (ok. 200 km od Bijska) pracował w tajdze przy wyrębie lasów. Nabawił się tam choroby oczu, ślepoty śnieżnej, która trwale uszkodziła mu wzrok. Ciemne okulary ochronne stały się jego znakiem rozpoznawczym. Był także urzędnikiem w Rajpotriebsojuzie (Rejonowy Związek Spożywców). Ojciec został zesłany do łagrów w Kraju Krasnojarskim. Po podpisaniu umowy Sikorski-Majski, jesienią 1941 Władysław został zwolniony z łagru i udał się do Bijska, gdzie znajdowała się polska delegatura.