Po raz pierwszy fumi-e zostało zastosowane podczas prześladowań chrześcijan w Nagasaki w 1629 roku. Formalny zakaz wprowadzono dopiero w okresie Meiji. Zakaz wyznawania chrześcijaństwa i polityka izolacji doprowadziły do wydalenia z kraju cudzoziemców (Hiszpanów w 1624 roku, Anglicy sami wycofali się rok wcześniej), a Japończykom zabroniono opuszczania kraju edyktem ogłoszonym w 1635 roku. Jedynymi Europejczykami w Japonii pozostali Holendrzy, którzy jako protestanci nie wahali się deptać wizerunków Matki Boskiej i Chrystusa, co miało świadczyć o tym, iż nie są chrześcijanami. Ostatecznie pozwolono im handlować na sztucznej wyspie Dejima u wybrzeży Nagasaki na Kiusiu.
Fumi-e były obrazami Maryi Panny lub Chrystusa, służącymi rządowi japońskiemu do ujawniania praktykujących katolików i ich sympatyków. Tych, którzy odmawiali podeptania wizerunków, uważano za chrześcijan i wydawano na śmierć, wygnanie lub tortury. W ocenie Kościoła katolickiego, liczba przypadków śmierci męczeńskiej w tamtym okresie wyniosła około trzech tysięcy.