Po wojnie w Brixton zaczęto budować liczne osiedla socjalne, składające się z wielopiętrowych bloków, na których z czasem zaczęła rozwijać się przestępczość.

Dzielnica przez dekady borykała się z problemami takimi jak bezrobocie, wysoka przestępczość czy złe warunki mieszkalne. Prowadzone tam przez policję akcje mające na celu zapobieganie przestępstwom zostały odebrane jako rasistowskie i tak w kwietniu 1981 doszło tam do zamieszek, wskutek których zostało rannych ponad 300 osób. W 1985 roku w Brixton rozegrały się kolejne zamieszki, kiedy to policjanci zastrzelili czarną kobietę Cherry Groce w jej własnym domu, szukając jej syna. 10 lat później doszło tam do kolejnych zamieszek po tym jak zmarł przetrzymywany przez policję młody czarny chłopak, Wayne Douglas.

Od lat 90. Brixton przechodzi gentryfikację, co spotyka się z mieszanymi odczuciami mieszkańców.

Znane osoby David Bowie, piosenkarz Deborah Dyer, znana jako "Skin", piosenkarka Havelock Ellis, seksuolog Elly Jackson, wokalistka La Roux Mick Jones, członek grupy The Clash Ken Livingstone, polityk John Major, polityk Nyron