Históricamente, el samurai surgió de la élite rural del período Heian tardío. Los hijos menores de la nobleza de la corte dejaron Heiankyo (actual Kioto) para buscar oportunidades en el campo. En el siglo XII, estas élites rurales pudieron tomar el poder (el Clan Taira a fines del período Heian hasta que el Clan Minamoto los desplazó). En 1192, el emperador Go-Toba otorgó a Minamoto no Yoritomo el título de shogun (‘gran general que aplasta a los bárbaros’, anteriormente un título honorífico). Estas primeras élites rurales eran conocidas como jito, o administradores de la tierra y fueron nombrados por el shogun.
Hasta el período Edo (1603-1868), los samurai eran una élite rural en gran parte analfabeta. Con el establecimiento de la paz bajo el shogunato Tokugawa, las cosas comenzaron a cambiar. En las décadas anteriores al establecimiento del shogunato Tokugawa, las ciudades del castillo comenzaron a desarrollarse a medida que los señores regionales intentaron consolidar el poder durante la era de Sengoku (Estados en guerra). Después de principios del siglo XVII, los samuráis se transformaron en una élite urbana. Además, se convirtieron en una élite urbana alfabetizada y educada. El gobierno de Tokugawa era una burocracia agraria confuciana. Samurai sirvió en el gobierno y muchos se convirtieron en maestros también. El gobierno de Tokugawa instituyó una política de asistencia alternativa en la que los señores feudales (aproximadamente unos 250) tuvieron que pasar parte de su tiempo en Edo (Tokio), así como parte de su tiempo en sus dominios. Esto condujo a un aumento masivo de la población de Edo (que probablemente era la ciudad más grande del mundo a principios del siglo XVIII). Los señores feudales tendrían su samurai con ellos en Edo.