Jako nastolatek wiele czasu spędzał w odosobnieniu, gromadząc w piwnicy coraz to większą kolekcję nagrań.
Początki kariery W roku 1992 poznał doświadczonego muzyka z Detroit, Amp Fiddler, który był pod wrażeniem umiejętności tworzenia muzyki na tak bardzo ograniczonym sprzęcie. Amp dał Jay Dee swoje MPC. Jay opanował ten instrument w zaskakująco krótkim czasie. W roku 1995 J Dilla i Mc Phat Kat utworzyli grupę 1st Down, która była pierwszą grupą hiphopową z Detroit, która podpisała kontrakt z główną wytwórnią (Payday Records). W tym samym roku Dilla nagrał Yester Years EP z 5 Elementz. W roku 1996 powstała grupa Slum Village, stworzona razem z T3 i Baatin. Debiutowy album Fan-Tas-Tic (Vol. 1) został nagrany w domowym studio Jamesa, a następnie w RJ Rice Studio. Wydany w 1997 roku album szybko zdobył uznanie fanów hip-hopu z Detroit, a także zwrócił uwagę rapera Q-Tipa (założyciela grupy A Tribe Called Quest), który to okrzyknął nową grupę następcą jego formacji. J Dilla nie był zadowolony z takiego porównania, o czym wspomniał w kilku wywiadach.