Występował przeciwko oddzielnym wagonom kolejowym dla białych i czarnych, ostentacyjnie zajmując miejsce w tych pierwszych. Wielokrotnie usuwano go stamtąd siłą. mały|Odezwa wzywająca do broni kolorowych mężczyzn, wymienia m.in. Douglassa Występował też przeciwko dyskryminacji religijnej i odrębnym mszom w kościołach. Jego akcja przeciwko segregacji rasowej przyniosła sukces.
W 1845 opublikował swe wspomnienia zatytułowane Narrative of the Life of Frederick Douglass. Obawiając się, że książka może doprowadzić do schwytania go jako zbiegłego niewolnika, wyjechał do Anglii. Tam nadal głosił potrzebę zniesienia niewolnictwa i pozyskał przyjaciół, którzy zebrali pieniądze na wykupienie go z niewoliW.L. Garrison, s.xiii.
Wrócił do USA w 1847 i założył antyniewolnicze pismo „North Star” w Rochester. W latach pięćdziesiątych XIX wieku oskarżał białych pracodawców (nawet niektórych abolicjonistów) o przyjmowanie do pracy białych imigrantów w miejsce osób czarnoskórych.