Organizacja oporu przeciwko konwersji na prawosławie W końcowej fazie przygotowań do likwidacji unii na wymienionym obszarze ks. Pańkowski znalazł się w grupie duchownych, którzy początkowo odmówili złożenia deklaracji gotowości do konwersji. W lipcu 1838 był jednym z 21 duchownych unickich, którzy zwrócili się wprost do cara z prośbą o umożliwienie im zachowania dotychczasowego wyznania. Twierdzili, że wymuszone konwersje są niezgodne z prawem. List ten został wręczony oberprokuratorowi Świątobliwego Synodu Rządzącego Nikołajowi Protasowowi, który nie zajął się sprawą, gdyż proboszczowie napisali go z inicjatywy własnej, bez spotkania ze swoim biskupem. W związku z tym car Mikołaj I polecił rozwiązanie problemu biskupowi Józefowi Siemaszce. 13 sierpnia 1838 Antoni Pańkowski oraz proboszcz parafii w Czyżach Faust Goworski zostali wezwani do Żyrowicz na rozmowę z konsystorzem duchownym. Gdy nie zgodzili się na przyjęcie prawosławia, biskup pomocniczy diecezji wileńskiej Antoni Zubko skierował ich do klasztoru w Torokaniach, by uniemożliwić im kontakty z innymi unickimi kapłanami. Józef Siemaszko potwierdził tę decyzję. Trzynaście dni później ta sama grupa proboszczów wystosowała kolejny list do cara, twierdząc, że są ofiarami prześladowań religijnych.