詹姆斯·索特于1925年出生于纽约,原名詹姆斯·阿诺德·哈罗维茨。父亲乔治·哈罗维茨是名商人,毕业于西点军校。詹姆斯生长于曼哈顿,家境富足,如一般的上层中产阶级子弟,他受到了良好的教育,在父亲敦促下最终也选择了西点军校,之后加入空军,成为了一名出色的战斗机飞行员。
詹姆斯曾参加朝鲜战争,战后被派往德国、法国的空军基地,在欧洲的这段生活极大地影响了他。他保存了有关当时生活的大量笔记。从詹姆斯不少小说中,我们可以看到欧洲文化尤其是法国文化的影迹。譬如,他最受瞩目的小说之一《游戏与消遣》就是以法国为整个故事的背景。詹姆斯从不讳言自己的“欧洲情结”(这种情结对我们来说并不陌生,从亨利·詹姆斯到海明威再到索特,我们都看得到老欧洲对美国艺术家的影响),他最喜爱的城市都是欧洲的城市,而法国是他的“世俗的圣地”。
1956年,詹姆斯出版了他的第一本小说《猎手》,使用笔名詹姆斯·索特。在《纽约客》的访谈中,他解释了改名的原因:一方面为了免遭他所供职的军队的批评,另一方面是为了模糊自己的犹太裔身份,因为他不想成为“纽约的另一名犹太作家”。第二个原因可以联系到詹姆斯·索特在写作上的一个特点:他几乎在刻意避免话题性,他所生活的时代的大事件、社会热点几乎都没有出现在他的小说里。在当时的美国,“犹太作家”身份恰恰意味着话题性和更多的关注。在美国的文学批评界始终存在着一种社会性的倾向,或者称之为政治highbrow,即他们十分偏爱涉及种族、性别、阶层等社会问题的“大”文学。以纳博科夫为例,无论他之前创作过多少精美、富有幻想力的小说,他那些缺乏意识形态及批判态度的主人公和故事都未能引起真正广泛的关注。如果没有后来惊世骇俗,极具话题性的《洛丽塔》,即便是纳博科夫这样的艺术家也可能多多少少被忽略。