前沿人工智能模型能力快速提升，我国政府正着手研究如何让这些最先进的人工智能系统在安全和可靠的前提下，用于公共服务和基础设施领域。
资讯通信媒体发展局星期五（6月12日）发文告说，已与美国科技公司微软签署谅解备忘录，加强双方在人工智能（AI）安全与保安方面的合作。
双方将围绕三大领域展开合作，包括进行AI安全与保安技术研究、分享相关知识与经验，以及研究前沿AI模型的信赖使用框架。其中，最受关注的是有关前沿AI模型的研究。
根据文告，资媒局、新加坡人工智能安全研究所（AI Safety Institute）和微软，将联同其他政府机构，探讨政府部门和基础设施运营者应如何在负责任的情况下，获取和使用前沿AI模型，以进行安全测试和风险评估。
它们也将共同撰写白皮书，研究政府机构和基础设施运营者的需求，以及模型开发商应考虑的政策安排。
前沿AI模型被视为人工智能发展的下一阶段。这类模型能进行复杂推理和自主执行任务，但随着能力增强，其中的潜在安全和滥用风险也备受关注。
今年4月，新加坡网络安全局便发文示警，一些前沿AI模型可更快找出系统漏洞，却也可能被不法分子用来发动网络攻击，因此提醒本地企业和机构应及早加强防护，降低相关风险。
据早前报道，由美国人工智能公司Anthropic开发的Claude Mythos AI模型，能轻易识破许多常见应用的大量漏洞，如果落入黑客之手，恐怕反沦为他们窃取数据，或破坏关键基础设施的新武器。
开发AI测试工具和评估标准
资媒局和微软也将研究具备自主执行任务能力的“代理式AI”，并开发用于评估AI模型的测试方法、工具和基准，包括多语言AI安全评估。双方也会探讨如何提升社会应对AI风险和虚假信息等信任与安全挑战的能力。
资媒局副局长古玛尔（Kiren Kumar）在文告中说，这项合作展示政府与业界如何携手推动AI治理，不仅制定政策框架，也共同开发评估工具和基准，推进AI安全评估科学的发展。
在微软负责AI安全与治理事务的主管克兰普顿（Natasha Crampton）则说，新加坡正积极参与全球AI安全治理讨论，双方合作将结合政府视角和微软的技术经验，加强AI评估能力、应对新兴风险，并提升公众对先进AI系统的信任。
