Kariera klubowa Piłkę siatkową zaczął uprawiać w Olsztynie, kiedy jego ojciec przez kilka miesięcy trenował miejscowy AZS. W 2003 roku z olsztynianami wywalczył 2. miejsce na Mistrzostwach Polski Młodzików rozegranych w Świnoujściu.
Następnie w 2003 roku powrócił z rodzicami do Warszawy, gdzie został graczem MOS Wola Warszawa i trenował oraz grał pod kierunkiem Krzysztofa Zimnickiego, a następnie Krzysztofa Felczaka. Od początku był w zespole ze starszymi zawodnikami, ale jak napisały Sportowe Fakty, szybko stał się liderem swojej drużyny. Jego szkoleniowiec stwierdził wówczas, że ma ogromną charyzmę i naturalne cechy przywódcze. W 2004 roku z warszawskim klubem wywalczył 1. pozycję w turnieju nadziei olimpijskich i brązowy medal mistrzostw Polski kadetów.
Kolejnymi sukcesami Fabiana Drzyzgi z czasów gry w Warszawie były: mistrzostwo Polski kadetów w 2005 roku z Metrem Warszawa (grał w turnieju na wypożyczeniu z MOS Wola), 2. miejsce na mistrzostwach Polski juniorów w 2005 roku z MOS Wola Warszawa. W sezonie 2005/2006 pełnił rolę kapitana zespołu MOS Wola, z którym zdobył srebrny medal mistrzostw Polski kadetów, przegrywając w finale z Delic-Polem Norwid Częstochowa po pięciu setach. Został wybrany najlepszym rozgrywającym tego turnieju. W 2007 roku z drużyną kadetów z Woli zajął 7.