Najprawdopodobniej 30 października 1943 roku Wiesława Dytkowskiego – mieszkańca Buska-Zdroju wyprowadzono na pobliską aleję Mickiewicza. Żandarm niemiecki kazał mu biec, po czym oddał do niego strzał. Wiesławowi Dytkowskiemu udało się zbiec. Zdarzały się nieliczne ucieczki. W lipcu 1943 roku Henryk Banasik korzystając z okazji, że żandarm kazał mu wynieść kubeł z nieczystościami na podwórze, uciekł. Kolejna ucieczka miała również miejsce w lipcu kiedy to Józef Skwark, Franciszek Zawierucha, Wojciech Stolarski oraz Antoni Koźbiał – mieszkańcy wsi Zofiówka wykorzystując nieuwagę wartowników, opuścili teren aresztu.
Od 1943 roku władze okupacyjne stopniowo rezygnowały z wykorzystania willi dr. Byrkowskiego w dotychczasowym charakterze. Osadzonych przenoszono do więzienia przy ul. Kościelnej (dzisiejsza ul. Sądowa), od wiosny 1944 roku przesłuchania odbywały się wyłącznie w tym budynku.
Po wojnie thumb|Pamiątkowa tablica na ścianie willi W latach 1945–1980 w budynku mieścił się m.in.: Komitet Powiatowy Polskiej Partii Robotniczej, Związek Młodzieży Polskiej, pogotowie ratunkowe, izba porodowa oraz biblioteka publiczna. Od 1989 roku zlokalizowana jest w nim Galeria Sztuki „Zielona” oraz Muzeum Ziemi Buskiej. W 1964 roku przed willą umiejscowiono pomnik ku czci pomordowanych mieszkańców ziemi buskiej.