Zgodnie z rozkazami Duponta Vedel ruszył na północ, by odblokować trzymaną przez milicję przełęcz Paso de Despeñaperros i niechcący stworzył w ten sposób niebezpieczną lukę pomiędzy francuskimi dywizjami. Obsadziwszy przełęcz batalionem piechoty Vedel zawrócił, by połączyć się z Dupontem i resztą korpusu, ale było już za późno. Castaños zdążył stanąć z 17 000 ludzi i 12 działami pomiędzy nim a Dupontem.
Starcie Teraz siły Duponta podzielone były na trzy zgrupowania: dywizja Goberta w okolicach wioski La Carolina, dywizja Vedela w podgórskim Bailén oraz siły własne Duponta okupujące Andujar. Armia hiszpańska, dowodzona przez Castañosa, liczyła ponad 33 tysiące żołnierzy. Miał on pod swoim dowództwem regularne oddziały z Sewilli i najemników szwajcarskich, a także masy lokalnej milicji i chłopstwa. Armia Castañosa była więc o wiele liczniejsza od korpusu Duponta. Kiedy Dupont otrzymał inforemacje o nadejściu wojsk Castañosa, nakazał Vedelowi dołączyć doń w Andujar. Jednak gdy Vedel opuścił Bailén, ludzie generała Redinga natychmiast obsadzili miasto broniąc je skutecznie przed atakami brygady Corberta, który zginął podczas jednego ze szturmów, a pozbawiona dowódcy brygada cofnęła się do La Carolina.