Począwszy od 1769 założyli oni szereg misji na terenach obecnego stanu Kalifornia.
29 listopada 1777 wicekról Nowej Hiszpanii, Antonio María de Bucareli y Ursúa, wydał rozkaz założenia rolniczej osady na terenach obecnego San Jose, która zaopatrywałaby w żywność pobliskie forty wojskowe. Miasteczko zostało założone przez hiszpańskiego oficera José Joaquína Morage i ochrzczone . Było ono pierwszą niewojskową miejscowością w Górnej Kalifornii (Alta California).
W 1797 osada została przeniesiona z obszaru, który obecnie zajmuje skrzyżowanie ulic Taylor Street oraz Guadelupe Parkway, na tereny obecnego centrum miasta. W 1825 San José znalazło się w granicach nowo utworzonego Meksyku, który właśnie uniezależnił się od Korony Hiszpańskiej. Później San Jose zostało zajęte przez Stany Zjednoczone, kiedy te w 1846 anektowały całą Kalifornię. Niedługo później miasto zostało drugim, po Sacramento, zarejestrowanym miastem w Kalifornii z własnym samorządem, a jego pierwszym merem został Josiah Belden. Miasto było pierwszą stolicą stanu. W 1850 i 1851 było gospodarzem pierwszych dwu sesji legislatury stanowej. Obecnie skwer znany jako Circle of Palms Plaza (czyli Plac Kręgu Palm) w śródmieściu San Jose upamiętnia rolę miasta jako pierwszej stolicy stanu.