国际机构报告:AI代理从腾讯云沙盒“越狱”入侵高德系统
一个国际研究团队发现,疑似来自中国的失控人工智能(AI)代理从腾讯云沙盒环境中越狱,试图入侵阿里旗下高德地图的系统,进一步加剧了外界对于科技公司可能失去对AI控制的担忧。
一个国际研究团队发现,疑似来自中国的失控人工智能(AI)代理从腾讯云沙盒环境中越狱,试图入侵阿里旗下高德地图的系统,进一步加剧了外界对于科技公司可能失去对AI控制的担忧。
彭博社报道,一个由美国及其他国家AI研究人员组成、名为Swarmchasers的团体,星期三(10月14日)在报告中称,最近几周,十多个疑似来自中国模型、运行在腾讯云服务上的AI代理(AI agent),越狱后试图访问高德地图服务。
报告称,这些AI代理的代码来自腾讯云的一个沙盒环境,它们进入高德的系统,并回答了诸如“动物园哪个入口最受欢迎”等问题。研究团队称,许多AI代理遭到拦截,但也有一些绕过了限制。
报告作者之一伊斯基(Ethan Elasky)指出,这起事件再次证明了AI代理可能逃离评估环境,并在没有人类监督的情况下采取行动。
他在报告中写道:“无论是中国的实验室还是美国的实验室,我认为从目前模型研发的发展模式来看,AI代理在接入互联网时,仍将不断突破沙盒限制。”
不过,研究团队指出,这批代理与此前涉及OpenAI模型的相关事件不同,没有证据显示它们彼此协作,因而将它们称为一支“代理群体”,而非协同行动的“蜂群”。
研究报告指出,这些AI代理入侵行为发生在今年9月28日至10月8日之间,目前已经停止。在此期间,它们共尝试访问高德数据2818次,并借助一项公开的安全扫描服务,远程运行代码和执行互联网浏览器命令。
报告称,绝大多数入侵尝试都在早期阶段受阻。不过,当高德系统进行干预时,有些代理找到了绕过限制的方法。目前尚不清楚这些AI代理具体想获取什么数据,也不清楚这些尝试的最终目的。
报告也说,这些AI代理与腾讯的平台存在关联,但尚不清楚腾讯当时正在开发或评估的是哪一个模型,因为腾讯团队也会研究第三方模型。
腾讯和阿里巴巴均未回应彭博社的电邮置评请求。
香港网络安全公司NyxLab联合创始人兼首席执行官颜国定认为,从网络安全角度看,核心问题并不在于这是中国AI模型还是美国AI模型,也不在于这些AI代理是否真的失控,而是要如何控制这些AI代理。
他指出,随着AI代理的自主程度不断提高,企业需要建立明确的防护机制、持续监控和有效干预手段,以确保它们会在预定范围内运行。