一项最新测试发现,多款主流人工智能(AI)聊天机器人可以轻易绕过安全限制,生成针对老年人的钓鱼邮件,并为诈骗计划提供细节建议。

路透社使用包括ChatGPT、Grok、Meta AI、Claude、DeepSeek和Gemini在内的六款AI聊天机器人,生成模拟钓鱼邮件,并与哈佛大学研究员海丁(Fred Heiding)合作,在108名老年志愿者中测试部分邮件的欺骗效果。

结果显示,约11%的受试者点击了带有虚假链接的邮件,其中五封邮件成功“诱骗”点击,分别由Meta AI、Grok和Claude生成。相比之下,ChatGPT和DeepSeek的邮件无人点击。

海丁指出:“这些安全防护总能被绕开。”他强调,AI生成的钓鱼邮件在欺骗力上与人工撰写几乎无异,但成本和时间却大大降低。

测试发现,尽管多数机器人在面对“明确诈骗意图”的请求时会拒绝,但只须稍加包装理由,如“科研需要”或“小说写作”,它们便会生成欺诈内容。Grok甚至在生成邮件后自动加上“立即点击”等催促性词句。

延伸阅读

AI深伪沦为“杀猪盘”欺诈工具 专家:眼见不一定为实
AI深伪沦为“杀猪盘”欺诈工具 专家:眼见不一定为实
深伪诈骗 你会上当吗?
深伪诈骗 你会上当吗?

谷歌的Gemini在测试中生成了“仅供教育用途”的钓鱼邮件,并主动建议最佳发送时间为“星期一至星期五上午9点至下午3点”,理由是这是老人最常查看邮件的时段。

美国AARP反诈骗网络负责人斯托克斯批评称,这种回应“与真实受害者的经历高度吻合,令人不安”。

谷歌事后称已对Gemini进行再训练。Meta和Anthropic则回应称,公司持续投入安全防护,并会封禁违规使用。Anthropic强调,利用Claude生成钓鱼内容违反平台的使用政策。

目前,美国仅有少数州法明确禁止利用AI生成内容实施诈骗。例如,得州近期将利用AI生成媒体或钓鱼通信进行金融诈骗定为犯罪。但大多数情况下,监管针对的是犯罪实施者,而非AI公司。

与此同时,特朗普政府宣布计划放宽对AI的监管,撤销了拜登时期一项旨在保护消费者免受AI诈骗的行政令。这也进一步引发学界与业界对监管缺失的担忧。

OpenAI的前信任与安全团队负责人威尔纳(Dave Willner)指出,模型内置的反诈骗防线“远不完美”,经常出现“该拒的不拒、该放的不放”的情况。原因之一是,“AI公司必须在过度执法与执法不足之间权衡,以保持产品竞争力”。

加州非营利机构CivAI联合创始人汉森(Lucas Hansen)称,AI模型不同于软件的程序代码。写得好的软件会“言出即行”,但“现代AI更像训练一条狗。你不能只给它一本规则书,告诉它该做什么、不该做什么……一旦训练结束,它的表现从无法保证”。