詹姆斯·索特于1925年出生于纽约，原名詹姆斯·阿诺德·哈罗维茨。父亲乔治·哈罗维茨是名商人，毕业于西点军校。詹姆斯生长于曼哈顿，家境富足，如一般的上层中产阶级子弟，他受到了良好的教育，在父亲敦促下最终也选择了西点军校，之后加入空军，成为了一名出色的战斗机飞行员。
