Según todos los informes, Jiang Ziya provenía de una familia que desempeñó un papel destacado en la política de la dinastía Xia. Jiang Ziya también conocido como Lv Shang (吕尚); tiene un apellido de clan, Jiang; un apellido familiar, Lv; un nombre de pila, Shang (que se le dio después de su nacimiento); un nombre propio, Ziya (que se le dio al llegar a la edad adulta). En ese período, solo una persona nacida de la nobleza tendría todos estos nombres. Entonces, Jiang Ziya era de una familia noble.
Sin embargo, tenemos que entender que, una familia que es noble no necesariamente significa que es rica. La familia de Jiang Ziya era noble en virtud de su importancia en la dinastía Xia anterior. Cuando Jiang Ziya nació, era la época de la dinastía Shang; la familia Jiang ya no era prominente y cayó en dificultades. Jiang Ziya ha participado en muchas actividades a lo largo de su edad adulta, incluyendo ser carnicero en algún momento. Sin embargo, él era un hombre educado y había tratado de convertirse en un oficial en la corte de Shang. No estaba siendo valorado por el Emperador Shang o sentía que no podía servir bajo los Shang. Entonces, renunció y pasó su vida haciendo trabajos ocasionales esperando la oportunidad de servir a un maestro que aprecia su conocimiento e inteligencia. La historia sobre él pescando sin cebo era para ilustrar que no estaba interesado en la captura de peces, sino que estaba esperando pacientemente la oportunidad de ser enganchado a un maestro que lo valoraba.