Ze Slayerem nagrał 4 płyty oraz jedno VHS i DVD (nagrane pod koniec 2002 roku, a wydane w 2003). Po nagraniu Undisputed Attitude w 1996 Paul postanowił opuścić zespół, aby spróbować swoich umiejętności w innym bandzie, do stycznia przyszłego roku jego miejsce zastąpił John Dette, z którym Slayer nagrał teledysk do utworu I Hate You. W 2002 Bostaph opuścił Slayer na stałe, z powodu przedłużającej się kontuzji łokcia oraz zmęczenia pracą w zespole, ale już w 2003 podpisał kontrakt z numetalową grupą Systematic i jeszcze w tym samym roku nagrał z nią płytę.
W 2005 roku zastąpił chorego Toma Huntinga i zajął jego miejsce w zespole Exodus. Gdy Hunting wrócił do zdrowia, w przyjacielskiej atmosferze pożegnał się z zespołem. W 2007 roku ponownie dołączył do grupy Testament (współtworzył ich dziewiąty album - The Formation of Damnation).