Karmelici przetrwali w klasztorze do roku 1885, kiedy ich zakon został zlikwidowany. W 1904 dokonano niefortunnej renowacji kościoła, malując ołtarze jaskrawymi barwami.
Podczas niemieckiej okupacji koło kościoła znajdowało się wejście do getta. Proboszcz parafii pomagał Żydom.
Po 1945 kościół został zamknięty. Po remoncie w latach 1967-1975, urządzono w nim w latach 80. XX w. Muzeum Litewskiej Sztuki Ludowej.
We wrześniu 1991 został zwrócony katolikom. Rozpoczęto jednocześnie jego renowację. Zaginione obrazy zastąpiono nowymi. Nabożeństwa w kościele są odprawiane w językach polskim i litewskim.
Architektura Kościół Wszystkich Świętych jest trójnawową, świątynią typu bazylikowego beztranseptową, w której nawy boczne są podzielone poprzecznymi ścianami na osobne kaplice. Nawa główna ma sklepienie beczkowe i jest rozczłonkowana parzystymi pilastrami. Dwie kaplice boczne dedykowane są Matce Boskiej Bolesnej i Prorokowi Eliaszowi, patronowi zakonu.