Dom został zrujnowany podczas wojny północnej, na początku XVIII wieku. W 1765 r. jednopiętrową wówczas kamienicę nabył od niejakiego Czaczyńskiego mieszczanin Antoni Niebieski z Fordonu (być może poborca ceł wodnych). Z kolei w 1789 r. sprzedał ją za cenę 1200 talarów pruskich niemieckiemu kupcowi Fryderykowi Kuerschnerowi, który należał do „pionierów” osiedlających się na ziemiach Obwodu Nadnoteckiego.
W 1792 r. dom został wystawiony na licytację. Nabył go spekulant nieruchmościami Jan Gabryel Oppermannjednocześnie z domem przy ulicy Jezuickiej 4. W 1798 r. za cenę 4050 talarów kupił go Jan Kuhlbrunn, a w 1801 r. nowym właścicielem został zamożny kupiec Fryderyk Herrmann z żoną Fryderyką z domu Schroerposiadał w mieście kilka domów. Adoratorem rozwiedzionej pani Schroer był hrabia Fryderyk Skórzewski z Lubostronia, zajmujący w czasie Księstwa Warszawskiego wyeksponowane stanowisko w Bydgoszczy, stolicy Departamentu.