Wzdłuż południowej części rzeki znajduje się dzielnica Almaden Valley, która początkowo została wyznaczona jako miejsce kopalni rtęci.
Najniższy punkt w San Jose (4 m poniżej poziomu morza) znajduje się przy zatoce San Francisco w dzielnicy Alviso. Najwyższym punktem w mieście jest Szczyt Kopernika, na górze Mount Hamilton, którego wysokość bezwzględna wynosi 1333 m n.p.m. Na tym szczycie znajduje się również Obserwatorium Licka. W związku z zanieczyszczeniem świetlnym stwarzanym przez San Jose, co utrudniało obserwacje uczonym pracującym w obserwatorium, władze miasta podjęły kroki, aby zredukować poziom światła wytwarzanego nocą, w tym celu wymieniono latarnie uliczne na sodowe. Planetoida (6216) San Jose została ochrzczona nazwą miasta w dowód uznania dla San Jose.
San Jose znajduje się w bardzo dogodnym geograficznie miejscu. Jest stąd bardzo blisko do wybrzeża morskiego, ale również do gór, jak i do centrum kulturalnego, którym jest San Francisco. System autostrad umożliwia szybkie przemieszczanie się pomiędzy tymi miejscami.