人类是制造工具的物种，但我们能控制自己创造的工具吗？当罗伯特·奥本海默（Robert Oppenheimer）等物理学家，在1940年代开发出第一种核裂变武器时，他们担心自己的发明可能会毁灭人类。虽说到目前为止，仍未发生这种状况，但管控核武器的挑战却一直存在。
如今，许多科学家将人工智能（AI），即能够让机器执行通常需要人类智能才能完成的任务的算法和软件，视为一种同样具有变革性的工具。像以往那些通用技术一样，AI具备巨大的行善与作恶潜力。在癌症研究中，它只需几分钟就能对一批研究案例进行梳理并总结，而同样的工作，人类团队却需要几个月才能完成。它还能可靠地预测蛋白质折叠的模式，而在这方面，人类研究人员则得耗费数年。
然而，AI也降低那些思想行为怪异者、恐怖分子和其他恶意行为者造成伤害的成本和门槛。正如兰德公司2024年发布的一项研究所警告的，“复活一种类似天花的危险病毒的边际成本，可能只需10万美元（约13万新元），而开发一种复杂对应疫苗或许要花费10亿美元以上”。
