Kłopoty 26 września 1857 roku Plummer zastrzelił mieszkańca Nevada City o nazwisku John Vedder; miał rzekomo romans z żoną Veddera. Został oskarżony i skazany na 10 lat więzienia w San Quentin, jednakże już w sierpniu 1859, po serii listów jego popleczników do gubernatora, w których wychwalano jego nieskazitelny charakter i poświęcenie służbie publicznej, został zwolniony. W uzasadnieniu ułaskawienia gubernator napisał, że Plummer był chory na gruźlicę. Następnie, w roku 1861, Plummer próbował aresztować niejakiego Williama Rileya, uciekiniera z San Quentin; w trakcie akcji Riley został zabity. Plummer oddał się w ręce policji, która uznała, że postąpił zgodnie z prawem, ale w obawie, że jego poprzedni wyrok może nieprzychylnie wpłynąć na ławę przysięgłych, zaleciła mu przeniesienie się do innego stanu.
Plummer wyjechał na północ, do dzisiejszego stanu Waszyngton, gdzie właśnie znaleziono złoto. Tam wkrótce znów wdał się w awanturę, która skończyła się strzelaniną i śmiercią przeciwnika. Plummer uznał w tej sytuacji, że musi zniknąć, a jedynym miejscem bezpiecznym wydał mu się rodzinny stan Maine.