Mariana Wolskiego, Potoccy herbu Pilawa wywodzili się od Pampickich z Pampic (Pępic) w powiecie chęcińskim.
Według heraldyka Szymona Okolskiego, Potoccy wywodzili się od Pilawitów Moskorzewskich – Jednakże Kasper Niesiecki podważa tę hipotezę słowami:
Kasper Niesiecki, Bartosz Paprocki i Szymon Okolski są zgodni, że miejscem pochodzenia Potockich jest Potok Wielki pod Jędrzejowem, zlokalizowany niegdyś w województwie krakowskim (obecnie województwo świętokrzyskie).
Za najstarszego znanego członka rodu uważa się Żyrosława z Potoka, legendarnego wojownika i pierwszego, który posiadał herb Pilawa. Około roku 1200, Żyrosław przekazał swojemu synowi Aleksandrowi, liczne włości. Ten zaś podzielił je na kilku synów, którzy mieli przybrać nazwisko od dziedziczonych dóbr, stając się protoplastami nowych rodzin. Według heraldyka Kaspra Niesieckiego, jego syn mógł być protoplastą Tworowskich z Tworowa, Stanisławskich ze Stanisławic, Borowskich z Borowy i Słostowskich ze Słostowy. Szymon Okolski natomiast twierdzi, że Aleksander miał łącznie ośmiu synów, należeli do nich chociażby: Janusz z Moskorzewa (Moskorzewscy z Moskorzewa, potem Kamienieccy z Kamieńca), Sulisław z Potoka (Potoccy z Potoka). Jednym z synów Aleksandra był niejaki Sulisław z Potoka, który został kasztelanem sandomierskim w roku 1217.