2024年2月28日，美国佛罗里达州一个名叫休厄尔·塞策的14岁男孩，在一个由角色AI（Character AI）平台生成的仿真人工智能角色怂恿下自杀身亡。据报道，平台上还托管着好些鼓励年轻人饮食失调行为的促厌食症AI聊天机器人。很显然，我们迫切须要采取更有力措施，来保护儿童和青少年免受AI伤害。
当然，即使从严格的道德角度来看，AI也具备从促进人类健康和尊严，到改善边缘群体的可持续发展和教育的巨大正向潜力。但这些许诺的好处，不能成为淡化或忽视伦理风险和现实世界代价的借口。每一个侵犯人权的行为，都必须被视为在伦理上不可接受。如果一名青少年在仿真AI聊天机器人的挑动下丧生，AI可以在推动医学研究方面发挥作用的事实，也无法作为补偿。
塞策的悲剧并非个案。去年12月，得克萨斯州的两个家庭对角色AI及其出资者谷歌提起诉讼，指控平台的聊天机器人对他们的学龄儿童实施性虐待和情感虐待，导致这些孩子自残和出现暴力行为。
