W wywiadzie w dla berlińskiego magazynu Nuflicks Carter wyjaśniła, że nazwa zespołu została zaczerpnięta z musicalu Ginger Rogers i Freda Astairego – Rogers rzekomo musiała przerabiać scenę stepowania tyle razy, że jej białe buty do tańca nasiąkały krwią.
W lipcu 2005 roku ukazał się ich debiutancki singel „Victory for the Magpie”, a dzięki BBC Radio 1 i promującym utwory „Victory for the Magpie” i „Don't Always Say Yes” wyprzedał się on w ciągu kilku tygodni. Na początku 2006 wydali podwójny A-side „”, a także single „” i „”.
W 2006 roku grupa koncertowała z Maxïmo Park, Panic! At The Disco i Metric.
W 2007 roku wydali single (11 czerwca) i „” (29 października), a także minialbum kompilacyjny I’ll Be Your Eyes (22 czerwca) nakładem niezależnej wytwórni V2 Records. Kiedy jeszcze w tym samym roku Universal Music Group kupiła wytwórnię V2, zdecydowała się ona zachować tylko kilka zespołów w składzie wydawnictwa, wśród których znalazł się duet Blood Red Shoes.
Zespół wystąpił na festiwalu w 2007 roku, a także był jednym z czterech zespołów, które zagrały w ramach trasy koncertowej NME New Music Tour 2007, obok , i . Latem 2007 roku zespół wystąpił na kilku festiwalach, m.in. na , na inauguracyjnym festiwalu i na festiwalu . Występowali również jako support przed wieloma zespołami, m.in.