Dzieciństwo 17 września 1501 papież nadał mu inwestyturę na księstwo Nepi. 2 września 1502 Giovanni został formalnie księciem Camerino. Faktycznie rządy objęli Giovanni Olivieri i kardynał Francesco BorgiaT. Dean, City and Countryside in Late Medieval and Renaissance Italy, b.m. 2003, s. 174.. Giovanni Borgia pozostawał jednak w Rzymie, gdzie często publicznie pokazywał się obok Aleksandra VI i Rodriga di Bisciegle, syna Lukrecji z drugiego małżeństwa. Po śmierci papieża (18 sierpnia 1503) razem z di Bisciagle, Rodrigiem Borgią (nieślubnym synem Aleksandra VI) i kochanką zmarłego Vannozzą Cattanei został odesłany do fortecy w Civita Castellana. Dalsze jego losy nie są dokładnie znane. W każdym razie w 1505 przybył do Ferrary, skąd już w czerwcu tego roku trafił do Carpi na dwór Alberta Pio. Lukrecja posłała Infantowi m.in. swojego krojczego, Hiszpana Sancia.
W październiku 1506 został zabrany z Carpi i sprowadzony z powrotem do Ferrary. Otrzymał swój dwór. Preceptorem Giovanniego został Bartolomeo Grotto. Jednak Alfons I d’Este, trzeci mąż Lukrecji, oraz jego synowie nie darzyli Infanta sympatią. Nie mówiono o nim na ferraryjskim dworzeM. Bellonci, Lukrecja Borgia, jej życie i czasy, Warszawa 1988, s. 695..