Ród Ostrorogów za czasów panowania Piastów należał do znakomitszych i najstarszych rodów możnowładczych. Następnymi dziedzicami po Hektorze byli: Mikołaj Ostroróg (1383) Jan Ostroróg (1391) Lesław Gochala Ostroróg (1400) Sędziwoj (syn Lesława) – był polskim generałem i wojewodą poznańskim. Zmarł w 1439. Napis na nagrobku głosi: Królowi Polski Władysławowi Jagielle, jego synom Władysławowi i Kazimierzowi w wojnie i pokoju służył. Walczył przeciw Krzyżakom, Turkom. Zmarł w 60 roku swojego życia Stanisław Ostroróg (syn Sędziwoja) – zmarł w 1477. Jego najstarszy syn Jan zmarł młodo, a wdowa poślubiła Gosłubskiego, mając już dwóch synów z pierwszego małżeństwa Stanisława i Mikołaja (Ostroróg). Synowie ci po śmierci ojczyma w 1496 postanowili podzielić się spadkiem w taki sposób, że jeden otrzymał lewą, a drugi prawą część miasta. Od tego czasu właściciele Sępólna przyjęli nazwisko Sempelborskich. W 1520 jeden z Sempelborskich ożenił się z córką Andrzeja Kościeleckiego.