Około 1750 roku zamek był opisywany jako zrujnowany, w związku z czym podjęto decyzję o jego przebudowie i przekształceniu w barokowy pałac dla biskupa. W rezultacie podjętych prac w latach 60. XVIII wieku zamek był już przebudowany na barakowy pałac o kształcie bliskim do obecnego. Ostatnie pozostałości zamku zostały usunięte podczas modernizacji budynków w 1861 roku.
Pałac biskupi lewo|mały|Pałac w 1787 roku Po 1762 roku biskup Antoni Kazimierz Ostrowski dokonał gruntownej przebudowy i przekształcenia zamku w wygodny pałac. W konsekwencji na miejscu zamku wybudowano barokowy pałac – siedzibę biskupów kujawskich. Relikty dawnego zamku są przypuszczalnie wbudowane w obecnie istniejący budynek. W okresie wojen napoleońskich pałac został przejęty przez władze świeckie. W 1812 roku urządzono w nim szpital dla rannych żołnierzy francuskich. W styczniu 1818 roku biskup Franciszek Malczewski przekazał pałac na szkołę pijarów przeniesioną z Radziejowa, którą uruchomiono w 1821 roku. W 1832 roku szkołę pijarów zamieniono na szkołę świecką. Od 1846 roku w pałacu mieściła się Włocławska Szkoła Realna (potem Gimnazjum Realne). W 1858 roku biskupi przejęli wschodnią część pałacu. W 1861 roku dokonano przebudowy pałacu biskupiego i przypuszczalnie wtedy usunięto ostatnie elementy będące pozostałością zamku, tj. mur obronny.