Najpierw podczas najazdów szlachty na dobra arcybiskupie, a następnie przez Litwinów (1304) i Krzyżaków (1331).

W drugiej połowie XIV wieku dzięki staraniom arcybiskupa gnieźnieńskiego Jarosława Bogorii Skotnickiego Opatówek uzyskał potwierdzenie praw miejskich, nabytych prawdopodobnie w 1 połowie tegoż stulecia. Mimo ich uzyskania, przez długi okres należał do miast bardzo małych. W 1579 roku miasto opłacało podatek „od dwu rzemieślników i ośmiu komorników”. Od XIV wieku istniał w Opatówku niewielki zamek arcybiskupów gnieźnieńskich zbudowany z inicjatywy Jarosława Bogorii Skotnickiego. W XVI wieku był otoczony fosą i zaopatrzony w broń palnąJ. Tomala, Budownictwo obronne powiatu kaliskiego w XIV – XVIII wieku, Poznań 1995, s. 33–34, 123–127L. Kajzer, S. Kołodziejski, J. Salm, Leksykon zamków w Polsce, Warszawa 2001, s.353.. Warownia ta spełniała przede wszystkim rolę gospodarczo-administracyjną dla dóbr arcybiskupich. W 1775 roku Opatówek liczył 80 „dymów”Ówczesny podatek, tzw. podymne, opłacany był od ilości kominów w miejscowości..