美国晶片巨头英伟达发布一套针对人工智能(AI)智能体的安全软件工具,并称它本可以阻止此前发生的AI智能体入侵Hugging Face平台的事件。
路透社报道,英伟达星期一(9月28日)发布了两款安全工具,分别是利用英伟达中央处理器(CPU)晶片的硬件功能来隔离和控制AI智能体的“OpenShell”,以及和它协同工作,利用一个独立的英伟达晶片,在失控AI智能体试图逃离隔离容器时,进行拦截并切断连接的“Sentry”系统。
英伟达企业计算部门副总裁兼总经理博伊塔诺(Justin Boitano)说,这些工具本可以阻止今年夏天曝光的Hugging Face受袭事件。
博伊塔诺在媒体简报会上说:“据我们所知,如果前沿实验室在早期进行模型评估时就使用这个新安全平台,原本是可以阻止这起越狱事件的。我们正在公开推进这一项目,并希望邀请所有人与我们共同努力。”
据报道,英伟达正与包括Anthropic在内的数十家合作伙伴共同推出这些工具。同时,英伟达也在与安谋(Arm Holdings)和英特尔(Intel)合作,以确保这些安全工具同样适用于它们的产品。
英伟达AI软件高级总监戈尔尚(Ali Golshan)指出,英伟达的工具通过数学公式,检测AI智能体何时试图采用绕过安全机制的手段。例如,当一个AI智能体试图“衍生”(spawn)出几个“子智能体”,以规避针对它自身的拦截措施时,系统就能检测到。
戈尔尚在简报会上说:“我们讨论的实际上是智能体的主动行为(agentic behavior),即大批智能体以及它们如何协同运作。”
英伟达此次发布安全工具,正值多起OpenAI和Anthropic的AI智能体入侵商业和政府系统的事件被曝光并调查之际。这两家AI巨头也呼吁,应放慢对AI的研发速度,并制定更广泛的安全法规,加强人类对AI的监管和控制。
英伟达首席执行官黄仁勋此前则拒绝了这一系列呼吁,而是将“失控外逃的AI智能体”视为一个需要解决的工程问题,类似于提高汽车的安全性。
