캘리포니아에서 최초로 스페인 사람들이 정착한 이곳은 1777년 스페인의 알타 캘리포니아 (Alta California: Upper California) 총독에 의해 건설된 도시로 캘리포니아의 수호성인 요세프 (스페인명 호세, Pueblo de San José de Guadalupe: in honor of Saint Joseph)에서 이름이 지어졌다.
1850년 캘리포니아가 주로 승격되었을때 새너제이는 캘리포니아의 첫 수도이기도 했으며, 1864년 철도가 개통된 이후 농산물의 집산•가공지로 발전하였고, 특히 건포도는 세계 제일의 산지가 되었다.
인구도 근 30년 동안 7배 가까이 늘어나, 미국에서도 성장이 가장 뚜렷한 도시 중 하나로 꼽히고 있으며 샌프란시스코 만 지역의 도시화에 따라 지금도 계속 성장하고 있다.
이곳에 사는 사람들의 학력이나 임금 수준이 미국에서 가장 높다는 통계에 걸맞게 부유한 도시로 집값이나 물가도 매우 비싸다.
아래 사진은 <테크 뮤지엄>이 위치한 산호세 중심부의 모습이다. 시가지가 너무 깨끗하고 전원도시같이 아름답다.