Do Polski wrócił w 1815 i za namową generała Józefa Zajączka pozostał w kraju, przerywając swoją działalność misyjną. Osiadł w klasztorze Reformatów w Sandomierzu. Pozostał bliskim przyjacielem Zajączka, który 5 października 1819 u władz carskich uzyskał dla niego prekonizację (nominacje biskupie musiały być uzgadniane z władzami rosyjskimi) na biskupstwo sandomierskie. Wybór potwierdził 19 marca 1820 papież Pius VII. Konsekracji dokonał abp Szczepan Hołowczyc w asyście biskupów: Adama Prażmowskiego i Teofila Lewińskiego w kościele Reformatów w Warszawie. Uroczysty ingres do katedry w Sandomierzu odbył się 26 maja 1820. W katedrze nowego biskupa powitał ksiądz Dobrzański (biskup pomocniczy nominat) i przedstawiciele władz miasta.
Jedną z pierwszych decyzji biskupa Burzyńskiego było utworzenie 1 września 1820 seminarium duchownego dla 20 alumnów. W ciągu 11 lat rządów diecezją udzielał się także jako senator i jeździł do Warszawy na posiedzenia Senatu.
2 sierpnia 1826 celebrował nabożeństwo żałobne w kościele Świętego Krzyża na Krakowskim Przedmieściu w czasie pogrzebu namiestnika Józefa Zajączka. W 1828 był członkiem Sądu Sejmowego, mającego osądzić osoby oskarżone o zdradę stanuT. Bieczyński, Sąd sejmowy 1827–1829 na przestępców stanu. Urzędowe akta, Poznań 1873, s. IX, 50..