W latach 60. XIX w. w pracach Solomona zaczęły pojawiać się motywy erotyczne o zabarwieniu homoseksualnym. Jego przyjacielem i zapewne kochankiem był kontrowersyjny poeta Algernon Charles Swinburne. Z zachowanej korespondencji wynika, że obaj byli zafascynowani twórczością markiza de Sade’a i różnymi odmianami parafilii. Solomon zilustrował w 1865 powieść Swinburne’a Lesbia Brandon i poemat Flogging The Block. W 1870 wydał poemat prozą A Vision of Love Revealed in Sleep jawnie broniący homoseksualizmu. Artysta oficjalnie przyznawał się do nieakceptowanej w wiktoriańskiej Anglii orientacji seksualnej i naraził się na ostre ataki ze strony m.in. „Art Journal” i krytyka Roberta Buchanana w 1871.
Poszukiwanie odmiennej seksualności i prawdopodobnie problemy z alkoholem doprowadziły artystę do upadku, 11 lutego 1873 aresztowano go w publicznej toalecie za obnażanie się i uprawianie pederastii. Skazany początkowo na 18 miesięcy ciężkiego więzienia, został zwolniony dzięki protekcji i wyrok zamieniono mu na nadzór policyjny. Malarz wyjechał do Paryża i 4 marca 1874 został aresztowany z tego samego powodu. Ukarano go grzywną i trzymiesięcznym więzieniem. Skandal doprowadził do całkowitej izolacji i odrzucenia Solomona przez środowisko artystyczne.