Krajobraz miasta thumb|Widok na miasto z lotu ptaka Miasto jest podzielone na wiele rejonów, które mieszkańcy nazywają potocznie „”, czyli sąsiedztwami. Pojęcie dzielnic jest tam raczej nieznane, a więc i miasto nie jest podzielone administracyjnie na dzielnice. Jednak dla ułatwienia, „sąsiedztwa” będą tu nazywane w znaczeniu dzielnic.
Wiele dzielnic San Jose było wcześniej samodzielnymi miasteczkami i innymi legalnymi podmiotami, ale z biegiem czasu zostały one wchłonięte przez miasto. Niektóre małe wspólnoty, które tworzą część aglomeracji, takie jak: Campbell, Cupertino, Los Gatos, czy Milpitas, mimo że posiadają prawa miejskie są powszechnie uważane za część San Jose. Miasto jest zwykle dzielone przez mieszkańców na 5 głównych rejonów: śródmieście, zachodnie San Jose, północne San Jose, wschodnie San Jose i południowe San Jose. Warto zauważyć, że nie ma ściśle określonych granic tych rejonów ponieważ są to nazwy potoczne, a nie rejony administracyjne.