3 listopada 1505 roku kardynał jadący w otoczeniu swojej świty natknął się pod zamkiem Belriguardo na Giulia. W przypływie gniewu rozkazał swoim sługom wyłupić mu oczy. Zamach udał się tylko częściowo, Giulio stracił wzrok w jednym oku drugie lekarze zdołali uratować. Alfons nie wyciągnął wobec brata oczekiwanych konsekwencji, skazał go jedynie na miesięczne wygnanie, po czym wymógł na braciach pojednanie.
mały|Kamea przedstawiająca Lukrecję i Alfonsa I Urażony Giulio zawiązał spisek z bratem Ferrantem przeciwko Alfonsowi. Przystąpiło do niego wielu niezadowolonych dworzan, między innymi hrabia Albertino Boschetti i jego zięć, kapitan gwardii zamkowej. Spiskowcy chcieli zamordować Alfonsa na balu maskowym, a Hipolitowi podać truciznę. Wiadomości o spisku dotarły do Hipolita, który przekazał je Alfonsowi. W lipcu 1506 roku spiskowcy zostali ujęci, osądzeni i skazani na śmierć. Giulia i Ferranta Alfons na miejscu kaźni ułaskawił i skazał na dożywotnie więzienie w piwnicach swojego zamku. Ferrante umarł tam w 1540 roku, już za panowania Herkulesa II. Osiemdziesięcioletniego Giulia uwolnił w 1559 roku Alfons II.