W czasie potopu szwedzkiego, a następnie wojny północnej, Kazimierz uległ silnemu zubożeniu. Także nieodnawiany kościół św. Jakuba chylił się ku upadkowi. W 1726 r. stan techniczny kaplicy brackiej był tak zły, że stojąca w niej chrzcielnica została przeniesiona do wnętrza kościoła a sama kaplica wkrótce zburzona. W 1748 r. ściany kościoła były popękane, a dzwonnica wymagała naprawy i nie jest już widoczna na tzw. Planie Kołłątajowskim z 1785 r. "Gwoździem do trumny" dla kościoła był I rozbiór Polski, gdy ustalona na Wiśle granica międzypaństwowa odcięła kościół od większości parafii i kościół utracił większą część dochodów. W tej sytuacji w roku 1783 prymas Michał Poniatowski zniósł kościół i parafię św. Jakuba. Kościół stał jeszcze kilka lat, po czym został rozebrany (według Michała Rożka w 1787 r., według Danuty Rederowej w 1797 r.). Nie wiadomo, gdzie zostały przekazane ołtarze i inne elementy wyposażenia kościoła. Wiadomo jedynie, że odbyła się licytacja sprzętu kościelnego, jednak nie znamy jego dalszych losów. Część epitafiów została przeniesiona do kościoła Bożego Ciała na Kazimierzu, gdzie jednak później zaginęła.