Ponadto, każdy z tych rejonów zawiera wiele mniejszych dzielnic takich jak: Japantown czy Willow Glen w śródmieściu, Cambrian Park i Winchester w zachodnim San Jose, Evergreen i Alum Rock we wschodnim San Jose, oraz Almaden Valley czy Santa Teresa w południowym San Jose.
Klimat thumb|Palmy w dzielnicy Willow Glen
San Jose leży w strefie klimatu śródziemnomorskiego, z łagodnymi i wilgotnymi zimami oraz gorącymi i suchymi latami. Miasto jest z trzech stron otoczone masywami górskimi, co chroni je przed dużymi opadami deszczu, ale powoduje, że klimat jest bardzo suchy i można by go nazwać półpustynnym, ze średnimi opadami poniżej 39 cm rocznie.
Temperatura maksymalna stycznia jest równa 16,6 °C, a minimalna wynosi 6,1 °C. Normalna temperatura maksymalna w lipcu to 29 °C, podczas gdy minimum to 13,8 °C. Najwyższą temperaturę odnotowaną w San Jose zmierzono w lipcu 2006 i było to 44,4 °C. Najniższą temperaturę w mieście zanotowano w grudniu 1990, a wynosiła ona –8,3 °C. Zróżnicowanie temperatury pomiędzy dniem a nocą może wynosić od 17 °C do 22 °C. Wysokie temperatury są zwykle połączone z niską wilgotnością powietrza.