W latach 70. XIX w. nieużytkowana cerkiew została rozebrana, a pozyskany materiał wykorzystano dla wzniesienia cerkwi cmentarnej w Rybołach. Parafia w Rybołach przejęła również dzwony ze świątyni kożańskiej, ikonę Matki Bożej oraz szczególnie czczoną ikonę św. Jerzego. Wszystkie dawne unickie placówki duszpasterskie na Podlasiu były już wówczas świątyniami prawosławnymi, na mocy postanowień synodu połockiego z 1839.
Cerkiew pw. Podwyższenia Krzyża Pańskiego z 1883