Aresztowany przez Gestapo w maju 1941, osadzony na Pawiaku. 23 lipca 1941 roku został wywieziony do niemieckiego obozu koncentracyjnego AuschwitzWładysław Bartoszewski, Warszawski pierścień śmierci 1939–1944, Warszawa 1970, wyd. Interpress s. 137–138.. W transporcie liczącym 350 innych więźniów znajdowało się również wielu wybitnych Polaków jak jedenastokrotny mistrz Polski w biegach długodystansowych Józef Noji, rektor Szkoły Głównej Gospodarstwa Wiejskiego Witold Staniszkis, polityk PPS Adam Kuryłowicz, publicysta Piotr KownackiRegina Domańska, Pawiak więzienie Gestapo. Kronika 1939–1944. Warszawa 1978, Wyd. Książka i Wiedza s. 102, 164.. W Auschwitz Rybarski był jednym z organizatorów ruchu oporu. Zmarł 5 lub 6 marca 1942. W literaturze i źródłach podaje się dwie przyczyny zgonu: z powodu choroby (angina bądź dyzenteria), albo rozstrzelanie, za uczestnictwo w obozowym ruchu oporuPrzemysław Bibik, Polscy narodowcy jako ofiary KL Auschwitz, Warszawa 2016, Wyd. Biblioteczka Myśli Polskiej, s. 83–85..