Mając 15 lat został przyłapany na kradzieży samochodu i trafił do placówki odwykowej dla nieletnich w Catskill Mountains w Nowym Jorku. W tym czasie oznaczył swoje ciało tatuażem „Little Joe”. Uciekł z zakładu i żył koczowniczy trybem życia w Meksyku. Po powrocie do Los Angeles zdobył akceptację w środowisku gejowskim.
Kariera
Po wyrzuceniu ze szkoły za napaść na dyrektora za obrazę ojca, Dallesandro zarabiał na życie prostytucją. W połowie lat 60. XX wieku pozował nago dla różnych fotografów w wielu podziemnych studiach, zarówno w Kalifornii jak i Nowym Jorku, pracując przede wszystkim dla Roberta Henry’ego Mizera, który założył Athletic Model Guild (AMG), i Bruce’a Bellasa w Los Angeles. Stał się najbardziej znanym fotomodelem ery Mizer AMG. Wziął udział w gejowskim filmie pornograficznym Hot House (1977).
Karierę filmową na dobre rozpoczął w 1967, występując w niewielkiej roli szkolnego zapaśnika w 26–minutowym dramacie Paula Morisseya The Loves of Ondine. Scenarzysta projektu, Andy Warhol, dla którego Dallesandro stał się z czasem filmowym pupilem, po kilku wspólnych przedsięwzięciach powiedział: „W moich filmach wszyscy są zakochani w Joe Dallesandrze”.