Grupa idąca z boku, jak się wydaje, nie chce uczestniczyć w haniebnej procesji, oni rozumieją znaczenie misterium wielkanocnego. Być może tłum to katolicy, a grupka powracających to protestanci, co może być odbiciem ówczesnych niespokojnych czasów, w których żył Bruegel. Żona Szymona ma u pasa różaniec – symbol katolickiej modlitwy i wiary. Przed krzyżem ciągnięty jest wóz, na którym siedzą dwaj łotrzy otrzymujący rozgrzeszenie.
Idąc łukiem w prawą stronę od sceny wyrywania Szymona z rąk żony, na pierwszym planie u dołu widać grupę lamentujących kobiet oraz Marię podtrzymywaną przez Jana Ewangelistę. Jest to jedyna grupa osób ubranych w stroje z epoki Chrystusa. To kolejny epizod wydarzeń wielkanocnych. Grupa stoi na skale, powyżej tłumu i będąc świadomym wydarzeń, górują nad całą sceną. Zupełnie po prawej stronie, za wysokim słupem, z ukrycia, upadek Jezusa obserwuje tajemnicza postać. Prawdopodobnie jest to autoportret malarza. Na szczycie słupa znajduje się koło, będące narzędziem tortur, a na nim siedzi kruk. Motyw ten często powtarza się w twórczości malarza, między innymi w Triumfie śmierci z 1562.