Program reform wdrażany przez Pawła IV nie przewidywał zniesienia nepotyzmu. Przeciwnie, wspierał on swoją rodzinę w nie mniejszym stopniu niż Aleksander VI czy Paweł III. Jego bratanek Carlo Carafa został w 1555 kardynałem, legatem Bolonii i superintendentem Państwa Kościelnego. Do Kolegium Kardynalskiego powołał też dwóch dalszych krewnych: Diomede Carafa i Alfonso Carafa. Carlo stał się prawą ręką papieża i szybko zdobył złą sławę. Był brutalny, chciwy i prowadził rozwiązły tryb życia. W trakcie wojny z Hiszpanią papież skonfiskował lenno Paliano, należące dotąd do prohiszpańskiego rodu Colonna, co nastawiło ten ród wraz z jego klientelą przeciwko Pawłowi IV i jego krewnym. Lenno to otrzymał Giovanni Carafa, brat Carla.
Występki Carlo Carafy długo były niezauważane przez Pawła IV, gdy jednak w styczniu 1559 przedstawiono papieżowi listę jego przestępstw, nadużyć i niemoralnych zachowań, popadł on w niełaskę, został pozbawiony władzy i wygnany z Rzymu.