詹姆斯·索特于1925年出生于纽约,原名詹姆斯·阿诺德·哈罗维茨。父亲乔治·哈罗维茨是名商人,毕业于西点军校。詹姆斯生长于曼哈顿,家境富足,如一般的上层中产阶级子弟,他受到了良好的教育,在父亲敦促下最终也选择了西点军校,之后加入空军,成为了一名出色的战斗机飞行员。